flume 无法写数据到 hdfs

最新推荐文章于 2023-11-15 13:52:15 发布

Lynn Gin

最新推荐文章于 2023-11-15 13:52:15 发布

阅读量3k

点赞数 2

分类专栏：疑难杂症文章标签：大数据 hadoop flume

本文链接：https://blog.csdn.net/weixin_46376562/article/details/119168964

版权

疑难杂症专栏收录该内容

18 篇文章 2 订阅

订阅专栏

博客内容讲述了在使用Flume进行数据采集时遇到的问题，即Flume启动后数据无法写入HDFS。通过检查发现是由于Flume与Hadoop的Guava包版本冲突导致。解决方案是覆盖Hadoop中的Guava包，用Flume所依赖的版本替换，从而成功解决数据写入问题。

摘要由CSDN通过智能技术生成

问题呈现：

flume启动后一直停在sink已经启动。。。
控制台看不到报错信息。。。
hdfs上查看不到数据。。。

解决方法：

检测是否为kafka问题，因为消费的是Kafka中的数据。

1）使用 kafka-consumer-groups.sh 检测消费情况
2）不断生成新的数据，发现数据会被 flume 消费（但没有写入 hdfs ）

检测是否为 flume 问题

新建一个简单的 flume 配置文件，让采集本地数据到 hdfs ，这么一来，终于发现问题了（有报错信息了）

2021-07-27 20:51:39,388 ERROR hdfs.HDFSEventSink: process failed
java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
	at org.apache.hadoop.conf.Configuration.set(Configuration.java:1380)
	at org.apache.hadoop.conf.Configuration.set(Configuration.java:1361)
	at org.apache.hadoop.conf.Configuration.setBoolean(Configuration.java:1703)
	at org.apache.flume.sink.hdfs.BucketWriter.open(BucketWriter.java:221)
	at org.apache.flume.sink.hdfs.BucketWriter.append(BucketWriter.java:572)
	at org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:412)
	at org.apache.flume.sink.DefaultSinkProcessor.process(DefaultSinkProcessor.java:67)
	at org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:145)
	at java.lang.Thread.run(Thread.java:748)

这是 guava 包冲突了，因为 Hadoop 采用的 3.3.0 而 flume 采用的 1.9.0 ，把 hadoop-3.3.0/share/hadoop/common/lib/guava-27.0-jre.jar 覆盖掉 /opt/module/flume-1.9.0-bin/lib/ 下的 guava 包。

至此，问题解决。