- 博客(9)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 (1)flume-1.7.0 安装、配置、启动
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source生成，当Source捕获事件后会进行特定的格式化，然后Source会把事件推入(单个或多个)Channel中
2017-12-29 16:46:10
1381
原创 elasticsearch-2.1.0 java客户端创建
es客户端分为两中模式：节点客户端（Node client）节点客户端作为一个非数据节点加入到本地集群中。换句话说，它本身不保存任何数据，但是它持有数据分片的路由表，它知道数据在集群中的哪个节点中，并且可以把请求转发到正确的节点，这种客户端模式下，需要维持一些与集群本身通信的连接，但是使用这种模式数据的查询和索引是最快的。传输客户端（Transport client）轻量级的传输客户端可以将请求发送到远程集群。它本身不加入集群，但是它可以将请求转发到集群中的一个节点上，使用这种模式存在“双跳”的现
2017-12-12 17:19:38
480
原创 elasticsearch-2.1.0集群搭建 及其出现的一些问题
Elasticsearch 是一个实时的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene 基础之上 它能让你以一个之前从未有过的速度和规模，去探索你的数据。 它被用作全文检索、结构化搜索、分析以及这三个功能的组合。我们从elasticsearch-0.17版本就开始使用，使用过程中遇到了很多问题同时也积累了一些使用的经验。
2017-12-12 16:19:59
583
原创 kafka 从分区任意位置、分区开头、分区末尾开始消费数据
redis和kafka都可以作为消息队列使用，都可以完成发布订阅功能，但是kafka相较于redis可以实现订阅消息的存储，可以实现订阅消息的任意位置消费，更重要的时kafka订阅消息是可以存储到磁盘上的，而redis订阅消息是无法存储磁盘的。在这里我给出了kafka生产数据和消费数据的一些代码示例，演示了kafka从分区的不同位置开始消费数据的方式。
2017-12-11 16:38:03
16225
2
原创 elasticsearch-2.1.0 及其插件head的安装
Elasticsearch 是一个实时的分布式搜索分析引擎， 它能让你以一个之前从未有过的速度和规模，去探索你的数据。它被用作全文检索、结构化搜索、分析以及这三个功能的组合。当然如果你想具体的了解elasticsearch的详细信息你可以去elasticsearch 官网查看。我这里记录一下elasticsearch-2.1.0 及其插件head的安装。elasticsearch不同版本对jdk有不同的要求我这里给你一些版本的参考链接：
2017-12-04 14:44:08
1404
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人