Flume和kafka连接测试

Flume的配置文件：（和kafka连接的配置文件）

#文件名:kafka.properties

#配置内容：

分别在linux系统里面建两个文件夹：一个文件夹用于存储配置文件（flumetest），一个文件夹用于存储需要读取的文件（flume）

a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type = netcat
a1.sources.s1.bind = 192.168.123.102
a1.sources.s1.port = 44455

a1.channels.c1.type = memory

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = t1
a1.sinks.k1.kafka.bootstrap.servers = 192.168.123.103:9092

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

需要先启动zookeeper。

启动kafka集群：（配置的节点都要启动）

[hadoop@hadoop02 kafka_2.11-1.0.0]$ bin/kafka-server-start.