Fishman113的博客

Flume的特性可靠性：事务型的数据传递，保证数据的可靠性。一个日志交给flume来处理，不会出现此日志丢失或未被处理的情况 ；消息（批量）通过每个Agent的channel，然后发送给下一个Agent或者最终的存储平台。只有当下一个agent或者最终的存储平台接收并保存后，才会从Channel中移除。这也是Flume（单跳，single-hop）传送语义中如何提供端对端的数据流可靠性的...

Selector复制模式Selector 默认是复制模式(replicating)，即把source复制，然后分发给多个sink；配置项 说明selector.type replicating 表示复制模式，source的selector如果不配置，默认就是这种模式在复制模式下，当source接收到数据后，会复制多分，分发给每一个avro sinkselector.optional ...

Sink—Event发送主要职责是将Event传输到下一个Agent或最终目的地，成功传输完成将Event从Channel中移除Logger Sink记录指定级别（比如INFO，DEBUG，ERROR等）的日志，通常用于调试要求，在 --conf（-c )参数指定的目录下有log4j的配置文件根据设计，logger sink将body内容限制为16字节，从而避免屏幕充斥着过多的内容。如...

ChannelChannel 用于用于缓存Event，当发送到下一个Agent时或最终目的地时会自动将Event从Channel上移除；不同的Channel的持久化水平是不一样的，并且Channel可以和任何数量的Source、Sink工作FileChannel将数据临时存储到计算机的磁盘的文件中性能比较低，但是即使程序出错数据不会丢失配置项 说明type filedataDi...

Flume的组件之一 SourceSource：1. AVRO将数据用AVRO序列化之后在进行收集，结合AVRO Sink可以实现多级流、扇入流和扇出流。2. Spooling Directory-可以监控指定的目录。当前目录在添加文件的时候会自动收集该文件中 的内容。当一个文件被收集完成之后，自动在晚间末尾添加 .COMPLETED后缀3. Http监听指定的端口，接收H...

Flume的工作原理Flume的工作原理概述1.flume是Cloudera公司开发，后来贡献给了apache，是一套分布式的，可靠的用于 日志的收集、汇聚和传输的系统。2.flume的版本：flume0.x：flume-ogflume1.x:flume-ng。 og与ng之间不兼容。基本概念Event ：a.将收集的每一条日志封装成了一份Event对象，一个Event就是一...