自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 HIVE总结

HIVE总结 hive简介 简介 **Hive是建立在 Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL ),这是一种可以存储、查询和分析存储在 Hadoop中大规模数据的机制。**Hive 定义了简单的类 SQL查询语言,称为 HQL ,它允许熟...

2019-09-23 22:52:55 58 0

原创 Redis简介(二)

Redis简介(二) Redis高级特性以及用法 生存时间 在Redis中,可以使用expire命令设置一个键的生存时间,生存时间到了以后Redis会自动删除它 expire 设置生存时间 ttl 查看剩余生存时间 生存时间没了会显示-2 persist 取消生存时间...

2019-09-16 20:28:28 150 0

原创 Map阶段环形缓冲区详细分析

Map阶段环形缓冲区详细分析 这几天不是很忙,抽了点闲着的时间回头看了一下hadoop,看到map阶段的环形缓冲区想到自己刚开始的的时候每太弄明白,这次好好仔细看了一下,顺便把学习成果记录了下来 在map阶段,每个map都有一个环形缓冲区,用于存储map的输出。这个环形缓冲区的默认大小是100M...

2019-09-10 18:42:36 240 0

原创 Redis简介以及简单操作

Redis简介 Redis是一个面向键值对数据类型的内存数据库,可以满足我们对海量数据的快速读写的需求 是一个nosql 非关系型数据库 Redis的键只能是字符串类型的 值可以是很多种数据类型 String 字符串 hash 哈希 list 字符串列表 set 字符串集合 sorte...

2019-09-09 20:29:44 190 0

原创 kafka

kafka 消息队列的简介 消息队列的介绍 消息队列(message queue) 简称为MQ 是消息加队列,即保存消息的队列。消息传输过程中的容器 主要是提供了消费、生产接口供外部调用,做数据的存储以及读取 消息队列的分类 消息队列大致可分为两种:点对点(P to P) 发布订阅(Pu...

2019-09-05 21:43:36 40 0

原创 Zookeeper简单总结

Zookeeper简单总结 简介 zookeeper是一个分布式协调服务 分布式应用程序可以基于它实现同步服务,配置维护以及命名维护等 zookeeper可以保证数据在zookeeper集群之间的数据的事务性一致 zookeeper中的组件角色 leader 领导者,负责进行肉票的发起以及...

2019-09-05 11:53:42 36 0

原创 Flink详细介绍

Flink详细介绍 Flink API的抽象级别 - Flink DataStreamAPI DataSource source是程序的数据源输入,可以通过StreamExecutionEnvironment.addSource(sourceFunction来给程序添加一个source ...

2019-09-03 11:52:07 35 0

原创 Flink入门简介

Flink入门简介 Flink的基本原理以及应用场景 Flink的简介 - Flink是一个开源的分布式、高性能、高可用、准确的流处理框架。 支持实时流处理以及实时批处理,批处理其实就是流处理的一个特例 原生支持迭代计算、内存管理、程序优化等 Flink的架构图: Flink的基本组件: ...

2019-08-31 22:09:06 78 1

原创 Linux常用指令

Linux 简介 是一个免费开源的操作系统 组成部分 内核 shell 文件系统 应用程序 重要指令 常用指令 pwd 列出当前全路径 ls ll ll -a 列出目录下所有文件 加a会列出隐藏文件 touch 创建一个空文件 mkdir -p 创建目录 加p是递归...

2019-08-29 10:08:09 25 0

原创 Shell

Shell shell介绍 Shell是用户与Linux系统进行操作沟通的桥梁 shell的种类有很多 ,介绍的这种是bash 也就是Bourne Again Shell shell文件的后缀通常是 .sh shell脚本中的第一行通常是 #!bin/bash 脚本执行方式 a.sh ...

2019-08-28 23:11:21 39 0

原创 Python提高

Python提高 Python操作文件 # coding=utf8 ''' 读文件操作 ''' def fun(): #此方式如果遇到错误就直接导致程序出错建立的连接无法关闭可以使用try也可以使用with #打开文件...

2019-08-27 22:57:38 36 0

原创 Python快速入门

Python快速入门 Python简介 Python是著名的“龟叔”Guido van Rossum(吉多·范罗苏姆)在1989年圣诞节期间,为了打发无聊的圣诞节而编写的一个编程语言;1991年初,Python发布了第一个公开发行版。Python是用C编写的高级的、面向对象的、开放源代码的编程...

2019-08-27 20:57:33 185 2

原创 Elasticsearch问题以及调优

Elasticsearch问题以及调优 Elasticsearch脑裂问题分析 脑裂问题的图解 [外链图片转存失败(img-09EzQT3W-1566829347750)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-ima...

2019-08-26 22:22:14 44 0

原创 Elasticsearch脑裂问题详细分析以及解决方案

Elasticsearch脑裂问题详细分析以及解决方案 什么是脑裂问题 脑裂问题其实就是同一个集群的不同节点对于整个几位群的状态有不同的理解,导致操作错乱,类似于精神分裂 怎么发现集群产生脑裂问题吧 Elasticsearch出现查询非常缓慢的情况 通过命令查看集群的状态 curl -XG...

2019-08-26 22:20:01 527 0

原创 Elasticsearch高级二

Elasticsearch高级二 Elasticsearch查询详解 查询Query 代码 public class EsDemo2 { static String index = "test"; static String type = "e...

2019-08-26 22:18:07 42 0

原创 ELK简单部署以及使用

ELK简单部署以及使用 简介 此项目是使用filebeat轻量化日志采集工具,将日志采集到kafka,在使用logstash工具将日志采集到Elasticsearch中,使用kibana工具在web界面上进行各种搜索查看建立图标等操作。 下载安装 进入到官网https://www.elast...

2019-08-26 14:10:38 132 0

原创 Elasticsearch高级

Elasticsearch高级 Elasticsearch批量操作的查询类型 Bulk批量查询的Java实现 package EsTest; import org.elasticsearch.action.bulk.BulkItemResponse; import org.elastics...

2019-08-24 22:58:46 37 0

原创 Spark简介

Spark简介 Spark概述 Spark是一个一站式大数据计算框架。可以通过一个技术堆栈处理大数据各种领域的各种计算任务。就是一个通用的大数据快速处理引擎。 Spark的各个组成部分 Spark core 用于离线计算 Spark SQL 用于交互式的查询 Spark Streaming S...

2019-08-22 23:10:26 30 0

原创 Elasticsearch Head Plugin详细安装教程

Elasticsearch Head Plugin 详细安装教程 Elasticsearch Head Plugin站点插件可以以网页形式展现ES 注意:这个插件依赖于nodejs,phantomjs所以我们在安装插件之前需要安装nodejs以及grunt nodejs下载地址https...

2019-08-22 20:27:42 179 0

原创 Elasticsearch的安装部署

Elasticsearch安装部署 安装JDK版本最好在1.8以上(因为这个比较基础就不详细解释了) 下载Elasticsearch 网址:https://www.elastic.co/downloads/past-releases/elasticsearch-6-4-3 选择合适的...

2019-08-22 20:24:56 29 0

原创 Elasticsearch简介

Elasticsearch Elasticsearch简介 ​ Elasticsearch是一个实时分布式搜索和分析引擎。它对Lucene进行了封装。能够满足实时搜索的稳定、可靠、快速等。基于REST接口。 ES与MySQL的对比 Elasticsearch MySQL inde...

2019-08-22 20:21:17 59 0

原创 Storm高级及优化

Storm高级 Storm核心之流分组 stream grouping 分类 Shuffle Grouping:随机分组。将stream中的tuple缓存后随机发放给所有bolt,可以使每个bolt中的数据量大致相等(可以较好的实现负载均衡) Fields Grouping:按字段分组,例如按...

2019-08-20 21:02:11 101 0

原创 Storm的简单分析

Storm的详细分析 Storm人的概述 Storm是Twitter开源的一个实时处理框架 Storm能够实现高频数据和大规模数据的实时处理 Storm与MapReduce的区别Storm type MapReduce Storm 数据来源 hdfs上TB级别历史数据 实时新增...

2019-08-19 20:01:12 91 0

原创 Java基础--常用DOS指令

Java基础–常用DOS指令 在学习Java之前我们要先了解一下到底什么是软件,什么是编程?  首先我们来说一下什么是软件  一个完整的计算机操作系统是由硬件系统以及软件系统组成,常见的硬件有CPU、显卡、内存条等,软件系统就包括计算机的操作系统(Windows、Linux等)、计算机的应用(qq...

2019-05-13 16:29:43 46 0

提示
确定要删除当前文章?
取消 删除