flume数据采集_flume采集Kafka数据到hdfshive

一，整体流程

1，首先来一份流程图

2，照着这个流程图我们来进入今天讨论的内容，'数据同步模块'

二，数据同步流程

1，使用Flume完成数据采集的后半部分，即Kafka数据到Hadoop平台的落地

三，同步配置

1，版本信息

基础构建CDH5.16.1,(推荐使用Flume之前升级到1.7及之后版本,5.16默认版本为1.6,本次使用1.6)

2，Flume配置信息

a1.sources=source_from_kafka

a1.channe