数据仓库--搭建环境kafka-flume-hdfs

1. 进行搭建数据采集

2. 数据从log日志进行flume 收集到kafka上面  file-flume-kafka （测试通过）

3. 数据从kafka到flume进行上传至hdfs中 （出现数据channel有问题，数据上传不到kafka）

最终检查发现 flume脚本 kafka-flume-hdfs出现问题，出现问题出错，修改完毕之后数据正确运行

一般出现这种情况需要检查一下数据链路从哪里断掉的，然后分析原因。