flume1.8兼容hadoop3 bug

最新推荐文章于 2023-06-25 18:00:30 发布
最新推荐文章于 2023-06-25 18:00:30 发布
阅读量180 收藏 1
点赞数 1
文章标签： bug 大数据 flume hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41018861/article/details/130503602
版权

报错

ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:459)  - process failed
java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

分析：

查看 ${FLUME_HOME} /lib下的guava-xx.jar和hadoop 下${HADOOP_HOME}/hadoop-3.3.3/share/hadoop/hdfs/lib/下的guava-xx.jar，将其升级到两者中的较高版本。jar包这里笔者就不在给出了，大家可以直接去官网下载。

扫地增
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
flume报错：ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventS
bella1213811111的博客
05-26 4964
flume传输文件到hdfs时报错： ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:459) - process failed java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/
Flume1.8安装部署
04-23
Flume1.8安装部署，包含目录结构为1、下载地址，安装环境工具下载地址 2、单个Flume安装 3、多个Flume安装及HA 4、应用场景 5、Flume-Ng组件概述
flume java.lang.no_flume启动报错 java.lang.NoClassDefFoundError: org/htrace/Trace
weixin_35647799的博客
02-16 239
ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:447) -process failedjava.lang.NoClassDefFoundError: org/htrace/Traceat org.apache.hadoop.ipc.Pr...
【CentOS】flume 报错：“SinkRunner-PollingRunner-DefaultSinkProcessor“
懂得一千零一种,赋予你失败的方法！
02-20 1726
在执行flume任务的时候报了错，如下: Exception in thread "SinkRunner-PollingRunner-DefaultSinkProcessor" java.lang.ExceptionInInitializerError at org.apache.hadoop.tracing.SpanReceiverHost.get(SpanReceiverHost.java:79) at org.apache.hadoop.hdfs.DFSClient.<init>(D.
flume 时报 NoSuchMethodError: com.google.common.base.Preconditions.checkArgument
yang灬仔
07-07 1301
问题 服务器上环境hadoop 3.0、flume 1.9 运行flume报错： 2020-07-07 16:39:56,359 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)] process failed java.lang.NoSuchMethodError: com.google.c.
flume启动由于guava-jar包冲突报错
xiexianyou666的博客
03-31 3303
启动flume遇到如下报错 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)] process failed java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/Stri
Flume常见错误整理（持续更新ing...）
热门推荐
光于前裕于后的博客
08-12 2万+
进来看！
flume遇到的坑
小强签名设计 的博客
03-16 577
内存溢出 报错： Exception in thread "SinkRunner-PollingRunner-DefaultSinkProcessor" java.lang.OutOfMemoryError: GC overhead limit exceeded at java.util.Arrays.copyOfRange(Arrays.java:3664) at java.lang.Str...
Flume写入HDFS报错
jhfcgy的博客
06-25 369
这个报错说明hadoop的auava.jar包与flume的不同。1.删除低版本的jar包(这里我的是flume版本低)2.将高版本的jar复制到flume中。
Flume-常见错误
迷路剑客个人博客
08-16 2574
Flume-常见错误 1 Closing file failed. Will retry again in 120 seconds. 1.1 报错现象和解决 详细报错信息如下： 09 Aug 2019 17:00:31,787 WARN [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.Buck...
apache-flume1.8
07-11
Flume是自动化采集工具中的代表，flume可以自动从设备收集log然后将这些log上传到HDFS
flume1.8文档中文完整翻译版
07-09
flume1.8官方文档（用户手册）的中文翻译版，来自：https://flume.liyifeng.org
flume1.8整合elasticsearch-5.3.0
12-25
flume1.8采集数据入存入elasticsearch5.3.0，flume1.8本身基于elasticsearch0.9版本，修改源码，支持es5.3，打的包，直接替换flume/lib下的elasticsearch-sink即可。
flume1.8.rar
10-12
flume1.8.rar
flume java opts_Flume常见问题
weixin_35639230的博客
02-26 212
问题一：ERROR [PollableSourceRunner-KafkaSource-r2] (org.apache.flume.source.kafka.KafkaSource.doProcess:314) - KafkaSource EXCEPTION, {}org.apache.kafka.clients.consumer.CommitFailedException: Commit can...
解决Exception in thread “SinkRunner-PollingRunner-DefaultSinkProcessor“ java.lang.NoSuchMethodError: c
weixin_47303949的博客
08-14 3549
执行flume任务时报错： Exception in thread “SinkRunner-PollingRunner-DefaultSinkProcessor” java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V 解决办法： 将flume的lib下的低版本guava-11.0.2.jar换成Hadoop下的高版本gua
ERROR - org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:158)] Unable to deliver event.
qq_43224174的博客
12-28 2620
flume启动一直报错ERROR - org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:158)] Unable to deliver event. Exception follows.，报错详情如下 2021-12-27 20:41:52,509 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.SinkRunner$PollingRu
hadoop集群负载高导致的flume问题
胖头鱼的专栏
01-29 2801
flume->hdfs source是tail、channel是memory、sink是hdfs flume端报错： 2015-01-29 01:55:58,424 (SinkRunner-PollingRunner-DefaultSinkProcessor) [WARN - org.apache.flume.sink.hdfs.BucketWriter.append(BucketWr
记flume部署过程中遇到的问题以及解决方法
硅谷纵横
11-16 2169
项目需求是将线上服务器生成的日志信息实时导入kafka，采用agent和collector分层传输，app的数据通过thrift传给agent，agent通过avro sink将数据发给collector，collector将数据汇集后，发送给kafka，拓扑结构如下： 现将调试过程中遇到的问题以及解决方法记录如下： 1、 [ERROR - org.apache.thrift.s...
hadoop的flume
最新发布
11-22
3. 修改配置文件：进入/opt/flume/conf目录，将flume-env.sh.template复制为flume-env.sh，然后根据需要修改flume-env.sh和flume-conf.properties文件。 ```shell cd /opt/flume/conf cp flume-env.sh.template ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

扫地增

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值