Flume启动报错

最新推荐文章于 2025-04-30 00:44:17 发布
最新推荐文章于 2025-04-30 00:44:17 发布
阅读量331 收藏
点赞数 2
文章标签： flume 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38383877/article/details/147605601
版权

报错1：

报错2：

File Channel transaction capacity cannot be greater than the capacity of the channel capacit...

解决方案：删除配置

Flume启动报错，guava.java包冲突
weixin_43441221的博客
02-11 793
Flume启动时报错如下： (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)] process failed java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/Stri
flume启动报错 java.lang.NoClassDefFoundError: org/htrace/Trace
Li_Jian_Hui_的博客
05-10 5395
我在启动Flume对hdfs写入时报如下错误: ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:447) - process failed java.lang.NoClassDefFoundError: org/htrace/Trace at org.apache.hadoop.ipc.ProtobufRpcEngine$Invok
flume启动报错
山海
06-27 819
启动flume的时候报以下错误： 这是因为你在 profile 里配置flume的时候出错！ 第一行写的是你flume的所在绝对路径 修改完生效以下就可以了
Flume启动报错，说系统找不到指定文件
weixin_64542139的博客
03-27 1960
Flume 日志文件路径不正确：如果在 Flume 启动时指定了日志文件路径，但该路径不正确，你将会看到这个错误。请检查日志文件路径是否正确，并确保在启动 Flume 时指定了正确的日志文件路径。Flume 配置文件路径不正确：请检查你的 Flume 配置文件路径是否正确，并确保在启动 Flume 时指定了正确的配置文件路径。缺少必要的库文件：如果你的系统缺少必要的库文件，Flume 启动时也可能会报错。请检查你的系统是否安装了所有必要的库文件，并确保它们已正确配置。
Flume启动报错，[ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)] process
weixin_65182065的博客
11-13 995
从查看结果来看，Flume中的guava版本较低，因此需要将Flume中的guava删除。Hadoop中的guava版本和Flume中的guava版本不一致。4.将Hadoop中的guava拷贝到Flume中。现在重新启动Flume就不会报错了，问题圆满解决。1.查看Hadoop中的guava版本。2.查看Flume中的guava版本。3.将两者中较低的guava版本删除。
解决Flume启动报错
weixin_43867046的博客
09-27 642
解决Flume启动报错 java.lang.ClassNotFoundException: org.apache.zookeeper.KeeperException 原因：flume的lib目录缺少 两个jar包 解决方法： 方法一：将两个jar包放到flume的lib目录下 方法二：配置 FLUME_CLASSPATH=”zookeeper jar 的地址“.例如：FLUME_CLASSPATH="/opt/zookeeper/zookeeper-3.5.8.jar;zookeeper-jute-3.
flume java.lang.no_flume启动报错 java.lang.NoClassDefFoundError: org/htrace/Trace
weixin_35647799的博客
02-16 319
ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:447) -process failedjava.lang.NoClassDefFoundError: org/htrace/Traceat org.apache.hadoop.ipc.Pr...
flume 启动报错
大鱼的博客
02-19 1604
 如下： java.lang.NumberFormatException: For input string: "44444 " at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65) at java.lang.Integer.parseInt(Integer.java:580) a...
Apache Flume 启动报错及解决方法
天冬忘忧的博客
10-09 818
在使用 Apache Flume 时，可能会遇到启动报错的情况，其中一个常见问题就是 log4j 错误。本文将结合两个实际案例来分析这个问题，并提供相应的解决方法。flume-ng agent -n a1 -c ../conf/-f ./flume_info.conf -Dflume.root.logger=INFO,console
一天一个Bug——关于Flume启动后，flume启动报错：java.lang.NoSuchMethodError: com.google.common.base.Preconditions.chec
m0_59305128的博客
05-22 396
经过测试，是guava-27.0-jre.jar包版本太高，所以我们先删除flume lib下低版本的guava-xxx-jre.jar，将hive lib高版本的guava-27.0-jre.jar它拷贝到flume的lib下即可。而hdfs 是基于hive ，hive里面的jar包用的版本与flume lib下的jar包版本相差太大，导致无法正常运行。经过本人的摸索，大概是因为你使用的flume的sink是hdfs sink。
Flume(二十一)Memory Channel
技术博客
08-08 206
Memory Channel是将收集来的数据临时存储到内存队列中，如果不指定，那么该队列默认大小是100，即最多允许在队列中存储100条数据。Channel可以批量接受Source的数据，也可将数据批量发送给Sink，transactionCapacity 属性，默认每一批数据是100条，实际过程中一般会把这个值调整为1000-3000。需要注意的是，Memory Channel是将数据临时存储在内存中，所以是不可靠的，但是数据的读写速度相对较快，因此适用于要求速度但是不要求可靠性的场景。
flume运行报错：NoSuchMethodError: com.google.common.base.Preconditions.checkArgument
m0_64758401的博客
08-20 367
这是由于hadoop和flume中的jar冲突了，flume的lib中 /opt/flume/apache-flume-1.9.0-bin/lib （guava-11.0.2.jar）而 hadoop 的 lib 中 /opt/hadoop/hadoop-3.2.1/share/hadoop/common/lib/ （guava-27.0-jre.jar）。
Flume v1.9.0启动报错ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)
qq_70085330的博客
11-09 552
Flume v1.9.0启动报错ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)
flume----初步安装与配置
ahyyyjj的博客
04-29 1067
Flume 是一个开源的。
如何搭建spark yarn模式的集群
a1237564537的博客
04-28 746
spark-env.sh：在/opt/spark-3.3.2-bin-hadoop3.3/conf目录下复制spark-env.sh.template文件并重命名为spark-env.sh，编辑该文件，添加以下内容：​。yarn-site.xml：在/opt/hadoop-3.3.4/etc/hadoop目录下编辑yarn-site.xml文件，添加以下内容：​。配置 Hadoop 环境变量：在所有节点上编辑/etc/profile文件，添加以下内容：​。
相关进程名对应的启动命令及其作用
2402_83590031的博客
04-29 414
在Spark Standalone模式下，通过执行 `$SPARK_HOME/sbin/start - worker.sh spark://<master - host>:<master - port>` 命令启动，或者在启动整个集群时使用 `$SPARK_HOME/sbin/start - all.sh` 也会启动该进程。是Spark Standalone集群中的工作节点进程。在Spark中，使用 `$SPARK_HOME/sbin/start - history - server.sh` 命令启动。
第33周JavaSpringCloud微服务 分布式综合应用
Sweeping_Robot的博客
04-28 940
分布式事务：在大型项目中普遍存在，是面试中的重要考点。能够全面考虑分布式事务的复杂情况，可以体现候选人的综合技术实力。本课程将详细介绍分布式事务的原理，并通过实操将项目从原本不支持分布式事务升级为支持分布式事务。原理：分布式事务是指在分布式系统中，为了保证多个操作要么全部成功要么全部失败而采用的一种机制。其核心目标是保证数据的一致性和完整性。难点：涉及多个服务或数据库，处理复杂，需要全面考虑各种情况，如网络延迟、服务故障等。
Oracle 19c 使用OGG同步数据到kafka端报错分析处理
最新发布
听雪楼主
04-30 372
通过排查参数配置，源端已配置目录名，至此怀疑是目录名配置错误，通过和客户确认，源端环境为多租户数据库，租户数据库名为：Uat。查看源端、目标端同步进程都是running状态。*.*不能是通配符，因为没有为目标表*指定目录名或非通配符目录名。今天收到一个客户反馈，新创建的ogg同步出现了问题，进程启动后无法进行同步。联系业务在源端进行数据库插入操作，目标端（kafka端）已成功获取同步数据。修改完后，启动源、目标端进程，可以正常启动，日志无报错信息。至此，整改故障分析处理结束。报错提示源端没有目录名。
启动flume报错main ERROR Unable to locate appender "LogFile" for logger config "root" 启动flume报错主错误无法找到记录器配置“root”的附件“logfile”
06-15
这个错误提示是说在flume的配置文件中，root logger的日志输出方式中没有定义名为LogFile的appender，导致无法输出日志到文件中。你需要检查一下配置文件中的日志输出方式是否正确，或者是在配置文件中添加一个名为LogFile的appender。以下是可能的解决方法： 1. 检查配置文件中的日志输出方式是否正确，例如是否正确指定了日志输出路径、日志格式等。可以参考一些官方文档或者其他人的配置文件进行比对。 2. 在配置文件中添加一个名为LogFile的appender，例如： ``` appender.LogFile=org.apache.log4j.RollingFileAppender appender.LogFile.File=/path/to/log/file appender.LogFile.MaxFileSize=10MB appender.LogFile.MaxBackupIndex=10 appender.LogFile.layout=org.apache.log4j.PatternLayout appender.LogFile.layout.ConversionPattern=%d [%t] %-5p %c - %m%n ``` 其中，/path/to/log/file是你想要输出日志的文件路径，MaxFileSize和MaxBackupIndex分别表示每个日志文件的最大大小和最大备份数量，layout.ConversionPattern表示日志输出的格式。 3. 检查一下flume的启动命令是否正确，例如是否正确指定了配置文件路径等。可以尝试重新启动flume，或者使用其他的命令进行启动。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

chde2Wang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值