flume采集日志使用KafkaChannel传hdfs没反应解决方案
学习到电商数仓的日志采集时,flume定义了filesource-KafkaChannel-无sink来生产日志放在kafka中,消费日志使用kafkaSource-fileChannel-hdfsSink来将日志放到hdfs中,好让日后进行相关计算业务。
问题:KafkaChannle读取了log文件,但是hdfsSink没有产生文件?
方法:
①查看生产者flume日志,和消费者flume日志,看有没有相关ERROR
启动生产者和消费者的命令应该加上写到文件中,不然无法看出错误
“nohup /home
原创
2020-07-18 18:11:04 ·
1755 阅读 ·
0 评论