flume中的sink往hdfs上寫的時候，報錯WARN hdfs.BucketWriter: failed to rename() file (hdfs://node132/flume/FlumeD

最新推荐文章于 2023-11-09 03:15:29 发布

struggle@徐磊

最新推荐文章于 2023-11-09 03:15:29 发布

阅读量672

点赞数 1

分类专栏： Flume 文章标签： sink往hdfs上寫報錯

本文链接：https://blog.csdn.net/qq_44472134/article/details/104072490

版权

在使用Flume的Avro Source向HDFS写入数据时遇到错误，报错显示未能成功重命名文件。日志中显示创建了临时文件'FlumeData.1367994886244.tmp'，但未能将其关闭并重命名为最终文件。问题可能在于Flume代理无法自动关闭文件。此外，日志中还出现UNBOUND错误，可能意味着每个通道只能接收一个文件。解决方案是将Flume配置中的端口从8082改为9000。

摘要由CSDN通过智能技术生成

报错：

用命令启动：bin/flume-ng agent --conf ./conf/ -f conf/ flume-conf.conf -n agent1
一切正常，而且flume.log日志也正常。
用bin/flume-ng avro-client -H kf-app1 -p 44444 -F /chunk1/demo/flume/test2.txt发送文件，flume.log如下：
[demoe3base@kf-app1 logs]$ tail -f flume.log
08 五月 2013 14:34:31,370 INFO  [lifecycleSupervisor-1-3] (org.apache.flume.instrumentation.MonitoredCounterGroup.start:82)  - Component type: SOURCE, name: source1 started
08 五月 2013 14:34:31,370 INFO  [lifecycleSupervisor-1-3] (org.apache.flume.source.AvroSource.start:155)  - Avro source source1 started.
08 五月 2013 14:34:45,932 INFO  [pool-6-thread-1] (org.apache.avro.ipc.NettyServer$NettyServerAvroHandler.handleUpstream:171)  - [id: 0x34bf1d3b, /172.21.3.61:39262 => /172.21.3.60:44444] OPEN
08 五月 2013 14:34:45,938 INFO  [pool-7-thread-1] (org.apache.avro.ipc.NettyServer$NettyServerAvroHandler.handleUpstream:171)