![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
文章平均质量分 85
大数据开发工程师-宋权
攻城狮,嗷!!!!
展开
-
使用Flume消费Kafka数据到HDFS (亲测好用)
1.概述对于数据的转发,Kafka是一个不错的选择。Kafka能够装载数据到消息队列,然后等待其他业务场景去消费这些数据,Kafka的应用接口API非常的丰富,支持各种存储介质,例如HDFS、HBase等。如果不想使用Kafka API编写代码去消费Kafka Topic,也是有组件可以去集成消费的。下面笔者将为大家介绍如何使用Flume快速消费Kafka Topic数据,然后将消费后的数据转发到HDFS上。2.内容在实现这套方案之间,可以先来看看整个数据的流向,如下图所示:业务数据转载 2021-12-21 16:10:46 · 6258 阅读 · 1 评论 -
flume接收kafka数据,设置偏移量
kafka官方文档中对于它的偏移解释:auto.offset.reset解释:What to do when there is no initial offset in Kafka or if the currentoffset does not exist any more on the server (e.g. because that datahas been deleted):earliest: automatically reset the offset to the earlie.转载 2021-12-20 14:48:03 · 1103 阅读 · 0 评论