Kafka发送消息到HDFS

本文采用的是kafka0.7.2，安装好kafka后在kafka的contrib目录下有关于kafka与hadoop的一系列文件，我们可以使用hadoop-consumer目录下的脚本及配置文件将kafka中某topic的信息发送到HDFS中。

1.修改test目录下的test.properties的配置文件。

kafka.etl.topic：topic的名称

hdfs.default.classpath.dir：hdfs的类路径

input：HDFS的输入路径

output：HDFS的输出路径

2.生成topic的offset

执行命令./run-class.sh kafka.etl.impl.DataGenerator test/test.properties，会在HDFS的/tmp/kafka/data目录下生成.dat的文件

3.复制kakfa的相关jar到HDFS的类路径

执行命令./copy-jars.sh /usr/lib/hadoop/lib

4.运行hadoop job

./run-class.sh kafka.etl.impl.SimpleKafkaETLJob test/test.properties,该job会将kafka中test-topic该话题的消息写入HDFS中。

在HDFS的/tmp/kafka/output目录中我们会看到写入的消息。