日志收集(for 分析错误/做统计)：

日志收集(for 分析错误/做统计)：
logback(错误日志/格式化日志) + flume(agent) + kafka(集群+外挂zk) + es(集群)

[流程中每个节点自测]
测试flume经验总结：
测试flume，需要把flume日志级别调整为debug,即启动时，加上：Dflume.root.logger=DEBUG,console

测试flume的source有没有读取日志文件，可以查看TaildirSource设置的positionFile的文件是否生成，内容是否在变化；
cat 要收集的文件名 | wc -c ：计算文本的字符总数
当收集结束后，看看positionFile的pos是不是上面得出的字符总数，如果是表示收集完成；

测试flume sink到kafka是否成功，先测试flume的sink到logger是否成功，这个时候，先把kafka的sink注释，调整
为agent1.sinks.s11.type=logger；看看flume的运行日志；

测试kafka的topic:test是否正常：
kafka-console-producer.sh –broker-list kafkaip1:9092,kafkaip2:9092 –topic test 发消息
kafka-console-consumer.sh –zookeeper zkip1:2181,zkip2:2181 –from-beginning –topic test 看看能不能收到消息

流程联调测试：
flume收集日志后，能否sink到kafka:
flume收集时，注意监控kafka-console-consumer.sh –zookeeper zkip1:2181,zkip2:2181 –from-beginning –topic test 能否看到消息；