flume-kafka 实例 详细

Java代码  

1. 20.flume 安装  
2.   
3. tar -xf flume-ng-1.6.0-cdh5.5.0.tar.gz  
4. mv   apache-flume-1.6.0-cdh5.5.0-bin ../soft/flume-1.6.0  
5. cd ../soft/  
6. ln -s /home/baoy/soft/flume-1.6.0 /home/baoy/soft/flume  
7. chown -R root:root /home/baoy/soft/flume-1.6.0 /home/baoy/soft/flume  
8. cd /home/baoy/soft/flume  
9. cd /home/baoy/soft/flume/config  
10. cp  /home/baoy/soft/flume/config/flume-env.sh.template /home/baoy/soft/flume/config/flume-env.sh    
11. vim flume-env.sh  
12.     export JAVA_HOME=/usr/java/jdk1.7.0_79  
13. /home/baoy/soft/flume/bin/flume-ng version  
14.   
15.   下载
16. cp /usr/local/kafka/libs/kafka_2.10-0.10.0.0.jar /home/baoy/soft/flume/lib/  
17. cp /usr/local/kafka/libs/scala-library-2.10.6.jar /home/baoy/soft/flume/lib/   
18. cp /usr/local/kafka/libs/metrics-core-2.2.0.jar /home/baoy/soft/flume/lib/  
19.   
20.   
21.   
22. vim /home/baoy/soft/flume/config/exec_tail_kafka.conf  
23.   
24. agent.sources = s1  
25. agent.sinks = k1  
26. agent.channels = c1  
27.   
28. agent.sources.s1.type=exec  
29. agent.sources.s1.command=tail -F /home/project/flume/logs/flume.log  
30. agent.sources.s1.channels=c1  
31. agent.channels.c1.type=memory  
32. agent.channels.c1.capacity=10000  
33. agent.channels.c1.transactionCapacity=100  
34.   
35. #设置Kafka接收器  
36. agent.sinks.k1.type= org.apache.flume.sink.kafka.KafkaSink  
37. #设置Kafka的broker地址和端口号  
38. agent.sinks.k1.brokerList=dev10.aoiplus.openpf:9092  
39. #设置Kafka的Topic  
40. agent.sinks.k1.topic=baoy-topic  
41. #设置序列化方式  
42. agent.sinks.k1.serializer.class=kafka.serializer.StringEncoder  
43.   
44. agent.sinks.k1.channel=c1  
45.    
46. /home/baoy/soft/flume/bin/flume-ng agent -n agent -c conf -f /home/baoy/soft/flume/conf/exec_tail_kafka.conf -Dflume.root.logger=INFO,console  
47.    

 下载