flume从kafka导数据到hdfs

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力.

利用flume从kafka导数据到hdfs

配置文件如下：

flumetohdfs_agent.sources = source_from_kafka
flumetohdfs_agent.channels = mem_channel
flumetohdfs_agent.sinks = hdfs_sink
#auto.commit.enable = true

## kerberos config ##
#flumetohdfs_agent.sinks.hdfs_sink.hdfs.kerberosPrincipal = flume/datanode2.