flume采集日志使用KafkaChannel传hdfs没反应解决方案

学习到电商数仓的日志采集时,flume定义了filesource-KafkaChannel-无sink来生产日志放在kafka中,消费日志使用kafkaSource-fileChannel-hdfsSink来将日志放到hdfs中,好让日后进行相关计算业务。

问题:KafkaChannle读取了log文件,但是hdfsSink没有产生文件?
方法
①查看生产者flume日志,和消费者flume日志,看有没有相关ERROR
启动生产者和消费者的命令应该加上写到文件中,不然无法看出错误
“nohup /home/module/flume/bin/flume-ng agent --conf-file /home/module/flume/conf/file-flume-kafka.conf --name a1 -Dflume.root.logger=INFO,LOGFILE >/home/module/flume/logs/log.txt 2>&1 &”
(nohup 不挂起运行,& 后台运行 ,2>&1 标准输入1和2,相当于INFO和ERROR)
②查看kafka的server.log,看有没有出错
③自己定义消费者消费相关topic,命令如下:
bin/kafka-console-consumer.sh --bootstrap-server hadoop201:9092,hadoop202:9092,hadoop203:9092 --topic topic_start --from-beginning
如果阻塞住没有显示任何消息,则表示没有生产消息

以上可以得出结论,生产者flume的配置中使用了interceptor,该拦截器出现问题。

还有
消费日志出现
WARN clients.NetworkClient: Error while fetching metadata with correlation id 15 : {topic_event=LEADER_NOT_AVAILABLE} 不用理会,如果是ERROR,则应该在zookeeper中删除brokers,命令如下
zkCli,sh 启动zookeeper客户端
rmr /brokers 删除brokers

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,我可以回答这个问题。您可以按照以下步骤来使用Flume采集Kafka数据到HDFS和Hive中: 1. 首先,确保您已经安装了FlumeKafkaHDFS和Hive等必要的软件。 2. 然后,在Flume的配置文件中添加Kafka作为Source和HDFS/Hive作为Sink。例如,以下是一个简单的配置文件示例: ``` agent.sources = kafka-source agent.channels = hdfs-channel agent.sinks = hdfs-sink hive-sink agent.sources.kafka-source.type = org.apache.flume.source.kafka.KafkaSource agent.sources.kafka-source.batchSize = 1000 agent.sources.kafka-source.kafka.bootstrap.servers = localhost:9092 agent.sources.kafka-source.kafka.topics = my-topic agent.sources.kafka-source.kafka.consumer.group.id = my-group agent.channels.hdfs-channel.type = memory agent.channels.hdfs-channel.capacity = 10000 agent.channels.hdfs-channel.transactionCapacity = 100 agent.sinks.hdfs-sink.type = hdfs agent.sinks.hdfs-sink.hdfs.path = hdfs://localhost:9000/flume/kafka agent.sinks.hdfs-sink.hdfs.fileType = DataStream agent.sinks.hdfs-sink.hdfs.writeFormat = Text agent.sinks.hdfs-sink.channel = hdfs-channel agent.sinks.hive-sink.type = hive agent.sinks.hive-sink.hive.metastore = thrift://localhost:9083 agent.sinks.hive-sink.hive.database = my-db agent.sinks.hive-sink.hive.table = my-table agent.sinks.hive-sink.hive.partition = dt=%Y-%m-%d agent.sinks.hive-sink.channel = hdfs-channel ``` 在上面的配置文件中,我们使用Kafka作为Source,将数据写入到HDFS和Hive中。我们使用Memory Channel将数据缓存在内存中,然后将其写入到HDFS和Hive中。在Hive Sink中,我们还定义了一个分区,以便按日期对数据进行分区。 3. 最后,运行Flume代理以开始从Kafka读取数据并将其写入到HDFS和Hive中。您可以使用以下命令来启动Flume代理: ``` $ bin/flume-ng agent -n agent -c conf -f conf/flume-kafka-hdfs-hive.conf ``` 这样,Flume代理就会开始从Kafka读取数据,并将其写入到HDFS和Hive中。 希望这些信息能够帮助您采集Kafka数据到HDFS和Hive中。如果您有任何其他问题,请随时问我。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值