- 博客(9)
- 资源 (3)
- 收藏
- 关注
原创 (1)flume-1.7.0 安装、配置、启动
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位,它携带日志数据(字节数组形式)并且携带有头信息,这些Event由Agent外部的Source生成,当Source捕获事件后会进行特定的格式化,然后Source会把事件推入(单个或多个)Channel中
2017-12-29 16:46:10 1383
原创 elasticsearch-2.1.0 java客户端创建
es客户端分为两中模式:节点客户端(Node client)节点客户端作为一个非数据节点加入到本地集群中。换句话说,它本身不保存任何数据,但是它持有数据分片的路由表,它知道数据在集群中的哪个节点中,并且可以把请求转发到正确的节点,这种客户端模式下,需要维持一些与集群本身通信的连接,但是使用这种模式数据的查询和索引是最快的。传输客户端(Transport client)轻量级的传输客户端可以将请求发送到远程集群。它本身不加入集群,但是它可以将请求转发到集群中的一个节点上,使用这种模式存在“双跳”的现
2017-12-12 17:19:38 480
原创 elasticsearch-2.1.0集群搭建 及其出现的一些问题
Elasticsearch 是一个实时的分布式搜索分析引擎,建立在一个全文搜索引擎库 Apache Lucene 基础之上 它能让你以一个之前从未有过的速度和规模,去探索你的数据。 它被用作全文检索、结构化搜索、分析以及这三个功能的组合。我们从elasticsearch-0.17版本就开始使用,使用过程中遇到了很多问题同时也积累了一些使用的经验。
2017-12-12 16:19:59 584
原创 kafka 从分区任意位置、分区开头、分区末尾开始消费数据
redis和kafka都可以作为消息队列使用,都可以完成发布订阅功能,但是kafka相较于redis可以实现订阅消息的存储,可以实现订阅消息的任意位置消费,更重要的时kafka订阅消息是可以存储到磁盘上的,而redis订阅消息是无法存储磁盘的。在这里我给出了kafka生产数据和消费数据的一些代码示例,演示了kafka从分区的不同位置开始消费数据的方式。
2017-12-11 16:38:03 16225 2
原创 elasticsearch-2.1.0 及其插件head的安装
Elasticsearch 是一个实时的分布式搜索分析引擎, 它能让你以一个之前从未有过的速度和规模,去探索你的数据。它被用作全文检索、结构化搜索、分析以及这三个功能的组合。当然如果你想具体的了解elasticsearch的详细信息你可以去elasticsearch 官网查看。我这里记录一下elasticsearch-2.1.0 及其插件head的安装。elasticsearch不同版本对jdk有不同的要求我这里给你一些版本的参考链接:
2017-12-04 14:44:08 1404
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人