Flume
奈斯Ekko
这个作者很懒,什么都没留下…
展开
-
Flume--Source、Channel、Sink
Flume 是一个分布式、可靠、高可用的海量日志采集、聚合和传输的系统Flume中的3个重要组件构成:source:完成对日志数据的收集,分成transtion和event打入到channel中;channel:主要提供一个队列的功能,对source提供数据进行简单的缓存;sink:取出Channel中的数据,进行相应的存储文件系统,数据库,或者提交到远程服务器。Channel有多种...原创 2019-10-18 11:47:51 · 263 阅读 · 0 评论 -
Flume--Event定义及源码解析
Flume基本构成与Event结构1. Event定义一行文本内容被反序列化成一个event。event的最大定义为2048字节,超过会被切割放到下一个event中。public interface Event { /** * Returns a map of name-value pairs describing the data stored in the body. ...原创 2019-10-18 11:36:58 · 3542 阅读 · 1 评论