1. 进行搭建数据采集
2. 数据从log日志进行flume 收集到kafka上面 file-flume-kafka (测试通过)
3. 数据从kafka到flume进行上传至hdfs中 (出现数据channel有问题,数据上传不到kafka)
最终检查发现 flume脚本 kafka-flume-hdfs出现问题,出现问题出错,修改完毕之后数据正确运行
一般出现这种情况需要检查一下数据链路从哪里断掉的,然后分析原因。
1. 进行搭建数据采集
2. 数据从log日志进行flume 收集到kafka上面 file-flume-kafka (测试通过)
3. 数据从kafka到flume进行上传至hdfs中 (出现数据channel有问题,数据上传不到kafka)
最终检查发现 flume脚本 kafka-flume-hdfs出现问题,出现问题出错,修改完毕之后数据正确运行
一般出现这种情况需要检查一下数据链路从哪里断掉的,然后分析原因。