![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
烈冬-冰夏
这个作者很懒,什么都没留下…
展开
-
Flume-NG源码阅读之SpoolDirectorySource
org.apache.flume.source.SpoolDirectorySource是flume的一个常用的source,这个源支持从磁盘中某文件夹获取文件数据。不同于其他异步源,这个源能够避免重启或者发送失败后数据丢失。flume可以监控文件夹,当出现新文件时会读取该文件并获取数据。当一个给定的文件被全部读入到通道中时,该文件会被重命名以标志已经完成。同时,该源需要一个清理进程来定期移除完成转载 2017-07-25 16:13:03 · 349 阅读 · 0 评论 -
Flume - FileChannel源码详解
FileChannel在Flume是一个非常重要的Channel,FileChannel可以很好的保证数据的完整性和一致性,提供了类似mysql binlog的机制,保证机器down机,JVM异常退出时数据不丢失,在采集数据量很大的情况下,建议FileChannel设置的目录和程序日志文件保存的目录设成不同的磁盘,以便提高效率。FileChannel的简易类结构:FileCha转载 2017-07-25 16:13:38 · 1080 阅读 · 0 评论 -
flume-ng源码浅析
1.架构 Source: 负责产生数据,将数据“传入”到channel,一旦写入channel成功,source就认为数据已经可靠的传输。 Sink: sink不停的从属于自己的channel(此处有点类似于消息队列的消费者了)中获取数据,并且将数据写入到相应的后端中,如果数据写入失败则需要将相应的状况通知channel,让channel知道数据传输失败,下次获取时可原创 2017-07-25 16:10:22 · 402 阅读 · 0 评论