![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
文章平均质量分 83
fannk
这个作者很懒,什么都没留下…
展开
-
flume源码分析
flume是一个高可靠性的分布式的大文件收集系统。它提供了transaction来保证数据不会丢失。 flume官网:http://flume.apache.org/ Flume文档:http://flume.apache.org/FlumeUserGuide.html,http://flume.apache.org/FlumeDeveloperGuide.html 安装:从官网下...原创 2014-05-23 15:04:34 · 61 阅读 · 0 评论 -
flume源码分析-source
flume的source用于收集日志,父类为AbstractSource,下图中的其他类都继承于AbstractSource AvroSource lifecycleAware 会调用start方法启动avroSource。avroSource主要启动了一个NettyServer用于接收数据,然后交由avroSource处理。 @Override public...原创 2014-05-26 10:19:45 · 514 阅读 · 0 评论 -
flume源码分析-channel
Channel 相当于一个管道,source写数据到channel中,sink从channel取数据。Channel有三类,memory,file,jdbc。memory速度最快,但是当机器宕机的时候数据会丢失,file数据不会丢失,jdbc速度最慢,一般选择fileChannel。 Source 中会调用ChannelProcessor的processEvent方法处理Log事件。...原创 2014-06-08 20:26:42 · 301 阅读 · 0 评论 -
flume源码分析-ChannelSelector
flume自带两种channelSelector。一种是MultiplexingChannelSelector,另一种是ReplicatingChannelSelector。 ReplicatingChannelSelector是将event发送到每个channel public class ReplicatingChannelSelector extends AbstractChan...原创 2014-07-14 14:22:47 · 838 阅读 · 0 评论 -
flume源码分析-SinkProcessor
flume包括三种sink processor,DefaultSinkProcessor,FailoverSinkProcessor,LoadBalancingSinkProcessor Default sink processor that only accepts a single sink, passing on process results without any additi...原创 2014-07-14 15:28:13 · 421 阅读 · 0 评论 -
flume源码分析-Sink
Sink 将从channel接收event,然后将event发往目标地址。 /** * * A simple sink which reads events from a channel and writes them to HBase. * This Sink uses an aysnchronous API internally and is likely to * per...原创 2014-07-14 17:01:45 · 255 阅读 · 0 评论