chenlei3055-CSDN博客

转载 SparkStreaming与Kafka整合遇到的问题及解决方案

** 前言**最近工作中是做日志分析的平台，采用了sparkstreaming+kafka，采用kafka主要是看中了它对大数据量处理的高性能，处理日志类应用再好不过了，采用了sparkstreaming的流处理框架主要是考虑到它本身是基于spark核心的，以后的批处理可以一站式服务，并且...

2017-07-11 22:00:00 324

转载 Elasticsearch学习总结八 ElasticSearch中的聚合操作

首先准备数据，索引包含四个字段fieldA,fieldB,fieldC,fieldD,如下图，以下案列中都使用了基本REST命令和JavaAP两种方式实现1). 首先按照某个字段fieldC分组统计,相当于sql 中的group by操作,curl -XPOST "http://121....

2017-06-15 21:43:00 196

转载 Elasticsearch学习总结七 ElasticSearch中的版本控制

版本控制：在关系数据库管理系统里,悲观并发控制(又名“悲观锁”,Pessimistic Concurrency Control,缩写“PCC”)是一种并发控制的方法。当我们在读取一个数据前先锁定这一行，然后确保只有读取到数据的这个线程可以修改这一行数据。ES使用的是乐观并发控制(又名”...

2017-06-08 18:40:00 172

转载 Elasticsearch学习总结六使用Observer实现HBase到Elasticsearch的数据同步

最近在公司做统一日志收集处理平台，技术选型肯定要选择elasticsearch，因为可以快速检索系统日志，日志问题排查及功业务链调用可以被快速检索，公司各个应用的日志有些字段比如说content是不需要在es中作为存储的，当时考虑使用一种keyValue形式的数据库作存储，然后使用...

2017-06-06 21:53:00 220

转载 Elasticsearch学习总结五 elasticSearch插件机制源码解析

一.首先看看Elasticsearch中插件是如何安装的我们安装好es后，如果要安装插件需要在 /usr/local/elasticsearch/bin的目录下使用plugin这个shell脚本，仔细看了下这个shell脚本，发现里面主要是运行了org.elasticsearch.plug...

2017-06-02 11:30:00 365

转载 Elasticsearch学习总结四 elasticSearch基本查询详解

一.使用的es版本及介绍使用的是elasticsearch2.3.3版本，在此只是简单介绍搜索部分的api使用二. es中基本简单的搜索介绍1.简单的matchQuery 查询的内容会通过分词，分词后的数据进行检索，只要包含其中一个分词就会被检索出来 searchRequestB...

2017-05-30 20:22:00 126

转载 Elasticsearch学习总结三 elasticSearch基本操作API

1.首先将es中所有的操作封装成为一个EsSearchManager，并且使用单例模式，提供一个实例外部调用。EsSearchManager esSearchManager = EsSearchManager.getInstance();getInstance()的返回值是这个类的实例,构...

2017-05-25 21:08:00 166

转载 Elasticsearch学习总结二 elasticSearch一些基本用法

一 . elasticSearch提供了一些基本的rest命令，基本如下： /index/_search 搜索指定索引下的数据，http://ip:9200/index/_search 查询当前索引下的数据 /index/ 查看...

2017-05-24 21:31:00 162

转载 Elasticsearch学习总结一基本用法及概念

一. Elasticsearch是一个基于Lucene的实时的分布式搜索和分析引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。基于RESTful接口二. ES中的核心概念集群（Cluster）： ES是一个分布式的搜索引擎，一般由多台物理机组成。这些物理机，通...

2017-05-24 19:33:00 65

转载 netty学习之五 netty在rocketmq中的使用

Rocketmq 的通信层是基于通信框架 netty，下面来看看rocketmq底层继承图。NettyRemotingAbstract是NettyRemotingClient和NettyRemotingServer的抽象父类，对发送和接收的公共部分进行了处理一 . 首先在数据结构方面使...

2017-05-22 21:36:00 1124

转载 netty学习之四编码解码和传输序列化

netty发送或接收消息后，Netty必须将消息数据从一种形式转化为另一种。接收消息后，需要将消息从字节码转成Java对象(由某种解码器解码)；发送消息前，需要将Java对象转成字节(由某些类型的编码器进行编码)。这种转换一般发生在网络程序中，因为网络上只能传输字节数据。严格...

2017-05-21 14:50:00 313

转载 netty学习之三 channel和channelHandler

netty中负责传输的核心是channel接口，它用于所有出站的操作。Channel接口的类层次结构如下[ 每个Channel都会分配一个ChannelPipeline和ChannelConfig。ChannelConfig负责设置并存储配置，并允许在运行期间更新它们。传输一般有特定的...

2017-05-21 11:05:00 159

转载 netty学习之二分包、组包、粘包处理

在数据传输中，我们发送的数据包如下所示+-----+-----+-----+| ABC | DEF | GHI |+-----+-----+-----+而实际接收的包的格式为：+----+-------+---+---+| AB | CDEFG | H | I |+----+--...

2017-05-20 17:26:00 621

转载 netty学习之一 netty入门

在很多开源项目中都有netty的影子，比如阿里系的rocketmq和dubbo,大数据领elasticsearch,hbase,hadoop都是使用了netty作为底层传输的。到底netty是个啥东东呢，其实 Netty是一个NIO client-server(客户端服务器)框架，使用Nett...

2017-05-20 15:47:00 96

chenlei3055的博客