![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
文章平均质量分 54
梦里Coding
bigData
展开
-
电商离线数仓项目-生产Flume数据采集的配置(配置文件详解)
我们经常一提到Flume,就要想到Flume的三个部件,Source,Channel,Sink.这三个部件构成了Flume数据传输的通道. 在我们这个项目当中,收集Flume布置在两台节点上,一台Flume收集事件类型日志数据,一台Flume收集启动类型日志数据. 其中,Flume的Source采用的是TailDirSource(Flume1.6版本当中,没有该Source,下一个版本中才有,也就是Flume1.7的版本中才有taildirsource),TailDirSource的优点就是支持断点续传,原创 2021-09-29 11:16:10 · 445 阅读 · 0 评论 -
Flume事务机制
Flume事务机制Flume事务机制 Flume事务机制 Flume事务有put和take机制,两者保证数据传输的准确性. Put事务:Source到Channel doPut:将数据从souce写入临时缓冲区putList doCommit:检查Channel内存队列是否足够合并 doRollback:channel 内存队列空间不足,则回滚数据 take事务:channel到sink doTake:将数据取到临时缓冲区takeList doCommit:如果数据全部发送成功,则清除临时缓冲区takeL原创 2021-08-02 17:14:11 · 763 阅读 · 0 评论