Flume v1.9.0启动报错ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)

已于 2023-11-09 10:56:01 修改
阅读量310 收藏
点赞数 1
分类专栏： flume 文章标签： flume hdfs 大数据
于 2023-11-09 03:15:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_70085330/article/details/134302194
版权

报错如下图：

894f66427d0f40e592e135b229e91b92.png

 

根据个人经验，这个错误应该是hadoop 3.x版本的通病

1、首先查看个人flume版本号

        查看版本号命令 

68829fa329cb48f3b90f39d139baf9e8.png

eefb8938c022461a91b753cee8b1ae77.png

报错原因：

Hadoop 中的 guava 版本和 Flume 1.9.0 中的版本不一致

2、查看Hadoop的guava版本

f38ceabe6a014e8d99ee3854f65905c1.png

bfaeac8e6d214f38bc1c4b45a957e59e.png

3、查看flume的guava版本
60cee48bb29841c58ec677899c089d2f.png

3c5a8f7b120542c5af89a96a96d8339d.png

4、删除两者之间低版本的guava

我这里是flume下的guava低，所以删除flume地下的guava

4222b65d0d5a42b8b34720b352304be7.png

5、将Hadoop下高版本的guava移动到/flume/lib目录下

ec79e620401949cebbfe9763fd99ca2a.png

6、重新启动flume。问题解决

791601caae5d437ab214f285942196f2.png

 

 

 

笨鸟先-森
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flume运行错误解决（四）ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)
bigwood99的博客
06-15 5453
设置了sink.type为hdfs 运行报错如下： ERROR-org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459) java.lang.NoSuchMethodError:com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;) 基本推测跟jar包有关。 try 1：复制hado...
apache-flume-1.9.0-bin.tar.gz
07-28
编译好的flume1.9.0，下载安装即可使用
Kafka下沉到HDFS报错
优质大数据领域知识记录
12-24 723
24 十二月 2023 12:38:25,127 INFO [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSCompressedDataStream.configure:64) - Serializer = TEXT, UseRawLocalFileSystem = false。
flume搜集数据到hadoop HA可能出现的问题及解决办法
蘑菇丁的专栏
11-20 904
把Hadoop集群的hdfs-site.xml、core-site.xml两个配置文件复制到 flume安装目录的conf目录去，把hadoop-hdfs-2.7.1.jar复制到 Flume  lib目录。 ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)] process fail...
FLUME启动遇到的坑
m0_58149226的博客
03-11 4423
首先我的环境 hadoop版本: 3.1.x版本 flume版本: 1.9.0 安装启动配置source,channel,sink 启动flume 消费kafkaTopic中的数据,将数据上传到hdfs报错:如下 出现该问题有可能是三种情况: 一、环境变量未配置 在安装了flume的所有机器上，首先都需要配置hadoop环境变量 配置环境变量即可 二、flume安装目录中lib文件夹下的guava-11.0.2.jar的版本不兼容 hadoop3.0.x上hadoop/sha..
Flume启动脚本报错/无效
Y_Aryan的博客
02-04 264
（1）执行 fl.sh stop时，能正常关闭。————> 表示该脚本能正常执行（权限为777）（2）但在执行 fl.sh start ，却发现没有启动任何一个服务器的 Flume进程（即 JPS都查不到Application）可以正常启动 Flume，用jps查询进程能查到 “Application”
flume启动由于guava-jar包冲突报错
xiexianyou666的博客
03-31 3276
启动flume遇到如下报错 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)] process failed java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/Stri
Flume启动报错，[ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)] process
weixin_65182065的博客
11-13 438
从查看结果来看，Flume中的guava版本较低，因此需要将Flume中的guava删除。Hadoop中的guava版本和Flume中的guava版本不一致。4.将Hadoop中的guava拷贝到Flume中。现在重新启动Flume就不会报错了，问题圆满解决。1.查看Hadoop中的guava版本。2.查看Flume中的guava版本。3.将两者中较低的guava版本删除。
Flume写入HDFS报错
jhfcgy的博客
06-25 352
这个报错说明hadoop的auava.jar包与flume的不同。1.删除低版本的jar包(这里我的是flume版本低)2.将高版本的jar复制到flume中。
Apache Flum【入门篇】
路飞
03-29 403
⚠Flume是什么？ Flume 是一种分布式，可靠且可用的服务，用于有效地收集，聚合 和移动大量数据。 Flume 构建在日志流之上一个简单灵活的架构。它具有可靠性 机制和许多故障转移和恢复机制，具有强大的容错性。使用Flume这套架构实现在线分析。Flume支持在日志系统中定制各类`数据发送方`，用于收集数据；同时，Flume 提供对数据进行简单的处理，并且写到各种`数据接收方` （可定制）的...
Apache-flume-1.7.0-bin.tar.gz
08-11
apache旗下组件flume，用于数据的采集，主要包括数据的source、channel以及sink，提供1.7.0稳定版本
apache-flume-1.9.0-bin.tar.zip
10-07
apache-flume-1.9.0-bin.tar.zip apache-flume-1.9.0-bin.tar.zip apache-flume-1.9.0-bin.tar.zip
apache-flume-1.8.0-bin.tar
03-21
Flume NG 是Cloudera提供的分布式数据收集系统，它能够将不同数据源的海量日志数据进行高效的收集、聚合、移动，最后存储到存储中心。Flume NG支持（故障转移）failover和负载均衡。
apache-flume-1.6.0-bin.tar,nc-1.84-22.el6.x86_64
12-24
apache-flume-1.6.0-bin.tar,nc-1.84-22.el6.x86_64 apache-flume-1.6.0-bin.tar,nc-1.84-22.el6.x86_64
flume配置
最新发布
yujinlong2002的博客
04-26 162
删除Flume安装目录的lib目录下的guava-11.0.2.jar包，之后查看/etc/profile文件中的Hadoop安装目录，将Hadoop安装目录的/share/hadoop/common/lib/目录中的guava-27.0-jre.jar复制至Flume安装目录的lib目录。进入Flume安装目录的conf目录，将flume-env.sh.template重命名为flume-env.sh，Java安装目录添加至flume-env.sh文件末尾。个人笔记：仅供参考如有错误望指正。
C# wpf 实现任意控件（包括窗口）更多调整大小功能
codeofcc的博客
01-15 2740
上一章我们已经实现了任意控件统一的拖动调整功能，能够方便的给任意控件设置拖动调整大小。开发过程中发现还是有些功能可以继续拓展的，比如cs代码触发拖动、自定义模板、交叉拖动、限制拖动范围等功能。有功能实现起来不算太容易，却很有实用价值。
ELK日志系统的搭建
adminstate的博客
04-23 1081
ELK日志系统搭建
ElasticSearch 入门学习
灰熊
04-23 830
ElasticsSearch 是一个分布式的实时文档存储，每个字段可以被索引与搜索也是一个分布式实时分析搜索引擎也是一个能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据。
apache-flume-1.9.0-bin.tar.gz下载
06-22
### 回答1： Apache Flume是基于数据流的分布式系统，专门用于从各种非结构化数据源收集，聚合和移动大量数据，它支持多种数据源的连接和数据交付到多种数据存储库。该软件是Apache软件基金会下的一个顶级项目，它是一个稳定、高效和可靠的工具，可以帮助企业实现数据的有效管理和分析。 apache-flume-1.9.0-bin.tar.gz下载是通过Apache官网提供的链接来进行下载的。下载完成后需要进行安装和相关配置，以便能够与其他数据源进行连接和数据交付。该软件的安装和配置较为复杂，需要具备一定的计算机技能和数据管理知识。 下载完成后，用户需要解压该文件，并在用户设置的文件夹中配置flume-env.sh和flume.conf文件。配置后，即可启动Flume服务，进行数据的收集和聚合操作。在使用过程中，用户可以根据实际需要，选择不同的数据源和文件存储方式，以满足企业数据管理和分析的需求。 总之，Apache Flume是一个强大的数据管理和分析工具，具有广泛的应用和丰富的功能。但在使用前，用户需要详细了解该软件的安装和配置过程，并具备一定的技能和知识储备，以确保其能够正确地使用和操作。 ### 回答2： Apache Flume是一个分布式、可靠、高效的数据采集、聚合和传输系统，在数据处理中应用广泛。而apache-flume-1.9.0-bin.tar.gz则是Apache Flume的官方发布版本，其中bin表示此版本是可执行程序，tar.gz是一种压缩格式。 要下载apache-flume-1.9.0-bin.tar.gz，首先需要前往Apache Flume的官网，然后找到下载页面。在下载页面中可以选择下载镜像站点以及下载apache-flume-1.9.0-bin.tar.gz的链接。用户可以根据自己的网络情况、所在地区等因素选择镜像站点并点击相应的链接进行下载。 下载完成后，用户可以使用解压软件将apache-flume-1.9.0-bin.tar.gz解压到任何想要安装的目录中。解压完成后，在bin目录下可以找到flume-ng的可执行文件，即可尝试运行Flume。 值得注意的是，Apache Flume是一个开源项目，因此用户可以访问其源代码，也可以参与到项目的开发中来。该软件的最新版本、文档等信息也可在官网上获得。 ### 回答3： Apache Flume是一款优秀的分布式高可靠日志收集与聚合工具，可以将数据从各种不同的数据源采集并集中到集中式的Hadoop数据仓库中。而Apache Flume 1.9.0-bin.tar.gz是Apache Flume的最新版本程序包，包含了Flume各种组件的可执行文件、示例配置文件、JAVA API等组件。 如果要下载Apache Flume 1.9.0-bin.tar.gz，可以先访问Apache Flume的官网，找到需要下载的地方，可以选择使用浏览器直接下载或使用命令行工具wget下载到本地，解压缩后将Flume各个组件配置好后就可以使用了。 需要注意的是，安装Apache Flume还需要为其配置相应的环境（例如配置JDK环境变量等），并进行一些必要的安全设置。而且对于不同的数据源与Hadoop生态系统版本，Apache Flume部署和配置也会略有不同。因此，在使用过程中，应该先学习Apache Flume的相关知识，并根据情况灵活应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值