![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
文章平均质量分 79
顾晓艳
这个作者很懒,什么都没留下…
展开
-
Flume NG 学习笔记(一)简介
一、简介Flume是一个分布式、可靠、高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据的简单处理,并写到各种数据接收方的能力。Flume在0.9.x and 1.x之间有较大的架构调整,1.x版本之后的改称Flume NG(next generation),0.9.x的称为Flume OG(originalgeneration)。对于O原创 2014-10-21 15:57:08 · 3102 阅读 · 1 评论 -
Flume NG 学习笔记(十) Transaction、Sink、Source和Channel开发
一、Transaction interfaceTransaction接口是基于flume的稳定性考虑的。所有主要的组件(sources、sinks、channels)都必须使用Flume Transaction。我们也可以理解Transaction接口就是flume的事务,sources和sinks的发送数据与接受数据都是在一个Transaction里完成的。从上图中可以看出,一个Tr原创 2014-10-31 15:51:26 · 5357 阅读 · 0 评论 -
Flume NG 学习笔记(五)Sinks和Channel配置
一、HDFS SinkFlume Sink是将事件写入到Hadoop分布式文件系统(HDFS)中。主要是Flume在Hadoop环境中的应用,即Flume采集数据输出到HDFS,适用大数据日志场景。目前,它支持HDFS的文本和序列文件格式,以及支持两个文件类型的压缩。支持将所用的时间、数据大小、事件的数量为操作参数,对HDFS文件进行关闭(关闭当前文件,并创建一个新的)。它还可以对事源的机原创 2014-10-24 15:43:25 · 16590 阅读 · 0 评论 -
Flume NG 学习笔记(三)流配置
在通过flume采集日志数据的时候,一般都是通过flume 代理从日志源或者日志客户端采集数据到flume代理中,然后再由flume代理送到目标存储.上图中就是每个一级flume代理负责从webserv采集数据,然后再由一个二级flume代理进行日志汇总。原创 2014-10-23 10:53:02 · 3325 阅读 · 0 评论 -
Flume NG 学习笔记(六)Selector(复用与复制)测试
学习心得(三)流配置中介绍多路复用流的时候,有说到Flume支持从一个源发送事件到多个通道中,这被称为事件流的复用。这里需要在配置中定义事件流的复制/复用,选择1个或者多个通道进行数据流向。而关于selector配置前面也讲过:.sources..selector.type= replicating这个源的选择类型为复制。这个参数不指定一个选择的时候,默认情况下它复制复原创 2014-10-24 17:45:55 · 7849 阅读 · 0 评论 -
Flume NG 学习笔记(四)Source配置
首先、这节水的东西就比较少了,大部分是例子。一、Avro SourceAvro端口监听并接收来自外部的Avro客户流的事件。当内置Avro 去Sinks另一个配对Flume代理,它就可以创建分层采集的拓扑结构。官网说的比较绕,当然我的翻译也很弱,其实就是flume可以多级代理,然后代理与代理之间用Avro去连接下面是官网给出的source的配置,加粗的参数是必选,描述就不解释了。原创 2014-10-23 17:24:08 · 16485 阅读 · 4 评论 -
Flume NG 学习笔记(二)单机与集群Flume 配置
下面的内容基本来自官网:http://flume.apache.org/FlumeUserGuide.html英语好的就不用看我这里来。。。本文使用的是最新版本的apache flume 1.5,安装完Flume然后测试下Flume是否可以用,在Flume目录下用以下语句测试:bin/flume-ng agent -n$agent_name -c conf -f conf/flume-co原创 2014-10-22 14:08:35 · 4287 阅读 · 0 评论 -
Flume NG 学习笔记(八)Interceptors(拦截器)测试
一、Event Serializersfile_roll sink 和hdfs sink 都支持EventSerializer接口1.1、Body Text SerializerBody TextSerializer,别名:text。这个拦截器将把事件的body部分写入到输出流中而不需要任何转换或者修改。事件的header将直接被忽略。下面是官网配置:Prope原创 2014-10-29 16:52:09 · 10482 阅读 · 1 评论 -
Flume NG 学习笔记(七)Sink Processors(故障转移与负载均衡)测试
Sink groups允许组织多个sink到一个实体上。 Sink processors能够提供在组内所有Sink之间实现负载均衡的能力,而且在失败的情况下能够进行故障转移从一个Sink到另一个Sink。简单的说就是一个source 对应一个Sinkgroups,即多个sink,这里实际上与第六节的复用/复制情况差不多,只是这里考虑的是可靠性与性能,即故障转移与负载均衡的设置。下面是官方配原创 2014-10-29 11:30:38 · 8818 阅读 · 1 评论 -
Flume NG 学习笔记(九)Flune Client 开发
文章内容还是来自官网http://flume.apache.org/FlumeDeveloperGuide.html由于在实际工作中,数据的生产方式极具多样性,Flume 虽然包含了一些内置的机制来采集数据,但是更多的时候用户更希望能将应用程序和flume直接相通。所以这边运行用户开发应用程序,通过IPC或者RPC连接flume并往flume发送数据。一、RPC client interf原创 2014-10-30 15:58:29 · 8628 阅读 · 3 评论