Kafka下沉到HDFS报错

最新推荐文章于 2024-07-01 02:25:02 发布
最新推荐文章于 2024-07-01 02:25:02 发布
阅读量787 收藏 8
点赞数 7
分类专栏： hadoop 文章标签： kafka hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44675837/article/details/135180740
版权
本文讲述了ApacheFlume在处理HDFS时遇到的NoSuchMethodError问题，原因是由于Hadoop和Flume中Guavajar包版本不兼容。解决方法是删除Flume中的Guava包以确保兼容并正常运行。
摘要由CSDN通过智能技术生成

错误信息

24 十二月 2023 12:38:25,127 INFO [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSCompressedDataStream.configure:64) - Serializer = TEXT, UseRawLocalFileSystem = false
24 十二月 2023 12:38:25,129 ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:457) - process failed
java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

错误原因

由于hadoop和flume中guava这个jar包冲突导致，二者不兼容。

解决办法

把flume中的guava包删掉，即可正常运行。

Stephen6Yang
关注
专栏目录
Flume 从0到高手一站式养成记
Amo Xiang的博客
08-07 833
文章目录一、学前必备知识二、极速入门 Flume三、极速上手 Flume 使用3.1 案例：Flume 的 Hello World!3.2 案例：采集文件内容上传至 HDFS3.3 案例：采集网站日志上传至 HDFS四、Flume 高级组件4.1 Source Interceptors4.2 Channel Selectors4.3 Sink Processors4.4 Failover Sink Processor五、Flume 出神入化篇 一、学前必备知识 2021年 全网最细大数据学习笔记（一）：初
大数据项目实战之新闻话题统计分析
weixin_43118064的博客
12-02 2573
前言：本文是一个完整的大数据项目实战，实时|离线统计分析用户的搜索话题，并用JavaEE工程前端界面展示出来。这些指标对网站的精准营销、运营都有极大帮助。架构大致是按照企业标准来的，从日志的采集、转化处理、实时计算、JAVA后台开发、WEB前端展示，一条完整流程线下来，甚至每个节点都用的高可用架构，都考虑了故障转移和容错性。所用到的框架包括 ：Hadoop(HDFS+MapReduce+Yarn)...
kafka往hdfs上传文件运行出现的错误及解决
weixin_45577149的博客
11-14 1821
1、启动脚本权限不够问题： 解决方法：添加权限：chmod +x 脚本 2、 Opening socket connection to server localhost/0:0:0:0:0:0:0:1:2181. Will not attempt to authenticate using SASL (unknown error) 解决方法：查看zkServer是否成功启动 3、 Missi...
Flume传输Hadoop日志报错Exception in thread “SinkRunner-PollingRunner-DefaultSinkProcessor“ java.lang.NoSuc
qq_74407830的博客
04-26 764
在测试Flume传输Hadoop日志时报错)V和异常Exception in thread "SinkRunner-PollingRunner-DefaultSinkProcessor" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;)V。
flume启动由于guava-jar包冲突报错
xiexianyou666的博客
03-31 3402
启动flume遇到如下报错 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)] process failed java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/Stri
flume1.8兼容hadoop3 bug
qq_41018861的博客
05-05 238
下的guava-xx.jar，将其升级到两者中的较高版本。jar包这里笔者就不在给出了，大家可以直接去官网下载。下的guava-xx.jar和hadoop 下。
Flume启动报错，[ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)] process
weixin_65182065的博客
11-13 768
从查看结果来看，Flume中的guava版本较低，因此需要将Flume中的guava删除。Hadoop中的guava版本和Flume中的guava版本不一致。4.将Hadoop中的guava拷贝到Flume中。现在重新启动Flume就不会报错了，问题圆满解决。1.查看Hadoop中的guava版本。2.查看Flume中的guava版本。3.将两者中较低的guava版本删除。
Flume实操指南与从Kafka拉取数据到HDFS
weixin_42147245的博客
06-07 1878
1. Flume简介     Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。     本文主要介绍Flume的实际操作，因此不对其原理和细节进行更多介绍，对于Flume的相关介绍可以参考以下文章： 分布式日志收集系统 —— Flume Flu
[Flink]一、Flink1.13
最新发布
weixin_44428807的博客
07-01 1034
1. Flink简介1.1 Flink的起源和设计理念flink项目的核心目标：数据流上的有状态计算（Stateful Computations over Data Streams)。时间驱动：来一个事件处理一个事件；流处理的流水线；流&批数据分析具体定位是：Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。1.2 Flink的应用。
Flume 使用总结
Tomorrow never comes
03-10 5318
前言在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示：  1. 日志采集框架Flume1.1 Flume介绍1.1.1 概述u Flume是Cloudera提供的一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。u ...
windows安装Flume将本地目录下文件上传到HDFS(kerberos)问题汇总
qq_33286695的博客
09-04 884
环境 本地系统：Windows10 CDH：6.1.0 Hadoop: 3.0 Flume:1.8.0 JDK:1.8 安全：kerberos 问题一： 找不到com/ctc/wstx/io/InputBootstrapper 2020-09-02 11:02:22,640 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSin
Flume启动报错，guava.java包冲突
weixin_43441221的博客
02-11 729
Flume启动时报错如下： (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)] process failed java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/Stri
记一次 Flume v1.9.0启动报错ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)
一花一世界
01-04 5369
报错内容 ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459) java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;) 报错如下图 集群背景（基于 Hadoop 3.3.0 集群安装部署 Flume 1.9.0） 1、H
Flume自定义开发常见异常及解决办法
Be yourself.
06-07 6784
前言 前些日子，对Flume进行了自定义sink和source的开发。遇到一些异常，以后关于Flume的异常都统一记录与此处。(除了个别较为麻烦的异常处理) 正文 Flume source has been removed due to an error in configuration 中文含义: Flume的source部分因为配置异常被移除。 表象: Flume中source...
flume 中sink用hdfs sink报拒绝连接错误hdfs-io
m0_58310854的博客
03-14 3663
项目场景： 提示：这里简述项目相关背景： 使用flume，用hdfs sink 问题描述 提示：这里描述项目中遇到的问题： 报错： WARN - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:454)] HDFS IO error java.net.ConnectException: Call From hadoop102/192.168.xx.xxx to hadoop102:8020 failed on conn
flume保存文件到hdfs的时候报错
lmh94604的专栏
05-05 8719
向hdfs中写文件，启动flume的时候报错 1. java.lang.NoClassDefFoundError: org/apache/hadoop/io/SequenceFile$CompressionType 2. java.io.IOException: No FileSystem for scheme: hdfs
tcpdump解决运维生产中遇到问题
linuxxin的博客
05-13 253
作为技术人员tcpdump这个工具还是有必要了解的 当你遇到网络协议问题一筹莫展的时候，这时候往往可以通过tcpdump来看网络的通讯过程中发生了什么事。 本文只介绍工作用遇到的问题供大家参考，旨在给你工作中遇到类似问题提供解决灵感，具体tcpdump怎么使用google吧。 下面通过三个案例进行介绍： 案例一：flume写kafka日志报错 案例二：LB（负载均衡）增加请求header后，nginx日志获取不到header key client_ip 案例三：mysql QPS 特别高，但mys
flume启动报错 java.lang.NoClassDefFoundError: org/htrace/Trace
养猪少年日记的博客
08-01 1483
我在启动Flume对hdfs写入时报如下错误: ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:447) - process failed java.lang.NoClassDefFoundError: org/htrace/Trace ...
Flume【问题记录 02】【java.lang.NoSuchMethodError:com.google.common.base.Preconditions.checkArgument】【避坑指南】
シ風
08-24 801
问题 使用hdfs作为sinks时报错信息如下： 2021-08-24 15:10:11,638 INFO avro.ReliableSpoolingFileEventReader: Preparing to move file /tmp/logs/log.txt to /tmp/logs/log.txt.COMPLETED 2021-08-24 15:10:15,199 INFO hdfs.HDFSDataStream: Serializer = TEXT, UseRawLocalFileSystem
Flume采集数据到Kafka，然后从Kafka存储到HDFS的实践指南
"Flume采集数据到Kafka，然后从kafka取数据存储到HDFS的方法思路和完整步骤" 在大数据处理中，Flume、Kafka和HDFS是三个常用的技术栈，分别负责数据采集、数据传输和数据存储。下面是使用Flume采集数据到Kafka，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值