flume与kafka联调测试

一、任务目标
log4j直接收集日志信息发送到flume，并由kafka按照主题进行分发订阅。
二、环境介绍
详细环境依托于这里；
kafka使用的版本为kafka-2.9.1－0.8.2.1,其JDK要求为1.7以上，在virtualbox中复制一个虚拟机安装kafka,其IP地址为192.168.1.12，解压好进行节点测试通过。
三、联调过程
1、flume-ng中自带了flume-ng-kafka-sink，可以直接进行使用，免去了我们重新进行开发的过程，当然从中我们也可以详细了解flume的二次开发过程，为以后进行其他二次开发打下基础。
2、将flume的配置文件设为

3、分别启动flume、kafka、以及eclipse发送log4j消息，将会出现如下结果：

四、注意事项
1、在192.168.1.12中启动了zookeeper、kafkaserver
以及kafkaconsumer，都在同一台机器上，即日志的传输过程为eclipse（192.168.1.9）->flume（192.168.1.11）->kafka（192.168.1.12）,eclipser中log4j生成的日志信息会显示到kafka的consumer中。
2、如果在flume中出现“没有找到主机的路由”的错误，请注意一定要关闭kafka机器上的防火墙。