song_quan_的博客

1.概述对于数据的转发，Kafka是一个不错的选择。Kafka能够装载数据到消息队列，然后等待其他业务场景去消费这些数据，Kafka的应用接口API非常的丰富，支持各种存储介质，例如HDFS、HBase等。如果不想使用Kafka API编写代码去消费Kafka Topic，也是有组件可以去集成消费的。下面笔者将为大家介绍如何使用Flume快速消费Kafka Topic数据，然后将消费后的数据转发到HDFS上。2.内容在实现这套方案之间，可以先来看看整个数据的流向，如下图所示：业务数据

kafka官方文档中对于它的偏移解释：auto.offset.reset解释：What to do when there is no initial offset in Kafka or if the currentoffset does not exist any more on the server (e.g. because that datahas been deleted):earliest: automatically reset the offset to the earlie.