FLUME启动遇到的坑

已于 2023-12-05 14:36:31 修改
阅读量4.4k 收藏 2
点赞数
文章标签： flume hdfs hadoop
于 2022-03-11 11:34:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_58149226/article/details/123420332
版权

首先我的环境

hadoop版本:  3.1.x版本

flume版本:  1.9.0

安装启动配置source,channel,sink

启动flume

消费kafkaTopic中的数据,将数据上传到hdfs报错:如下

出现该问题有可能是三种情况:

一、环境变量未配置

在安装了flume的所有机器上，首先都需要配置hadoop环境变量 配置环境变量即可

二、flume安装目录中lib文件夹下的guava-11.0.2.jar的版本不兼容

hadoop3.0.x上hadoop/share/common/hadoop/ 的guava-27.0.jar和flume上的冲突,

选择高版本的,将flume/lib/的guava-11.0.2.jar删掉即可

三、自定义拦截器时pom.xml配置文件导致

切记配置文件一定要  <scope>provided</scope>

不是代码是牛马
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Docker容器中运行flume及启动不输出运行日志问题
09-30
主要介绍了 Docker容器中运行flume及启动不输出运行日志问题及解决方法，需要的朋友参考下吧
flume启动失败原因
流的博客
11-29 6428
输入： flume-ng agent -c /root/apps/apache-flume-1.6.0-bin/conf -f ./avro-hdfs.conf -n al -Dflume.root.logger=INFO,console 控制台打印 Info: Including Hive libraries found via () for Hive access + exec /root/...
flume-chd版本
04-26
这个是linux下flume-chd版本压缩包
Flume用法
01-07
Flume包含三部分 Source:从哪收集,一般使用：avro(序列化),exec(命令行),spooling(目录)，taildir(目录和文件，包含offset,不会数据丢失),kafka Channel:数据存哪里:(memory,kafka,file) Sink:数据输出到哪里:(hdfs,logger,avro,kafka) Flume环境配置 配置jdk cd $FLUME_HOME/conf cp flume-env.sh.template flume-env.sh vi flume-env.sh export JAVA_HOME=/usr/java/jdk 方法使用 net
一天一个Bug——关于Flume启动后，flume启动报错：java.lang.NoSuchMethodError: com.google.common.base.Preconditions.chec
m0_59305128的博客
05-22 231
经过测试，是guava-27.0-jre.jar包版本太高，所以我们先删除flume lib下低版本的guava-xxx-jre.jar，将hive lib高版本的guava-27.0-jre.jar它拷贝到flume的lib下即可。而hdfs 是基于hive ，hive里面的jar包用的版本与flume lib下的jar包版本相差太大，导致无法正常运行。经过本人的摸索，大概是因为你使用的flume的sink是hdfs sink。
Flume遇到的一些问题
storm_fury
10-16 2442
flume部件及参数 batchData的大小由参数batchSize控制； putList和takeList的大小由参数transactionCapacity控制； Channel总容量大小由参数capacity控制； 参数说明 Source的batchSize参数决定Source一次批量运输到Channel的event条数，适当调大这个参数可以提高Soure搬运Event到Chan...
Flume学习遇到的问题
黄黄黄黄黄的博客
11-18 824
1.执行bin/flume-ng agent -c ./conf -f ./conf/spooldir.conf -n a1 -Dflume.root.logger=INFO,console后，上传文件到dirfile报错：[ERROR - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDi...
Flume运维中遇到的问题
h952520296的博客
11-02 1042
关闭文件异常，同名的文件被不同的flume agent打开，在文件第二次打开后，先前打开的agent拥有的token就失效了，因此无法关闭它，尝试设置以下参数。把 JAVA_OPTS="-Xmx20m" 改为 JAVA_OPTS="-Xmx2048m"修改后，重启flume,生效，flume恢复正常运行。尝试后发现，无效，flume后续依然触发了该报错。重启agent，顺畅running。# source增加配置。# sink增加配置。
记录Flume使用中遇到的坑
weixin_45436471的博客
11-18 569
Flume使用中遇到的坑 1.avro sink 连接失败 问题： 在实现自定义拦截器中，分别开启slave1、slave2，master的flume任务时，master和slave1有连接成功的日志，但master和slave2死活连不上。检查并修改了配置文件和自定义拦截器的Java代码好多次后依然连不上。 解决： 单独写了个以master的netcat作为source，slave2作为sink，slave2的控制台作为接收到master的消息的输出sink做测试，发现还是连不上，所以排除了配置文件和代码
Flume开发中遇到的问题及优化方法
weixin_43907316的博客
03-26 685
Flume开发中遇到的问题及优化方法sourcechannelsink案例 source tailDir source： （1）优点： 1）断点续传 2）多目录访问 Flume版本 Apache1.7、CDH1.6 （2）taildir挂了怎么办？ 不会丢数：断点续传 （3）怎么处理重复数据？ 不处理：生产环境通常不处理，因为会影响传输效率； 处理： 自身：在taildirsource里面增加自定义事务 （但是会影响flume的处理速度） 找兄弟：下一级处理（hive dwd sparkstreaming
Flume使用详解（三）
01-07
在Flume使用中配置相当重要，但也非常简单。 在conf目录下，创建一个配置文件，比如：template.conf（名字可以不固定,后缀也可以不固定） 相关配置： #配置Agent a1 的组件 a1.sources=r1 a1.channels=c1 (可以配置...
尚硅谷大数据技术之Flume
03-23
尚硅谷大数据技术之Flume
Flume部署和使用
01-07
Flume部署和使用 官方文档: http://flume.apache.org/ example: WebServer –> Agent[Source–>Channel–>Sink] –> HDFS 一.简介 Flume是一个分布式，可靠的的框架，它能从许多不同的数据源高效地收集、聚合和移动...
Flume启动报错，[ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)] process
weixin_65182065的博客
11-13 469
从查看结果来看，Flume中的guava版本较低，因此需要将Flume中的guava删除。Hadoop中的guava版本和Flume中的guava版本不一致。4.将Hadoop中的guava拷贝到Flume中。现在重新启动Flume就不会报错了，问题圆满解决。1.查看Hadoop中的guava版本。2.查看Flume中的guava版本。3.将两者中较低的guava版本删除。
解决启动flume时,出现问题警告和报错的问题 No configuration directory set
qq_44513460的博客
12-18 7560
解决flume在启动时,出现的警告和报错问题
Flume错误：Flume：Class path contains multiple SLF4J bindings
weixin_47243236的博客
11-21 3106
Class path contains multiple SLF4J bindings. 启动 Flume 时，会看到如下内容： SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/flume-1.9.0/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found bind
Flume命令启动报错
胖墩儿的专栏
03-10 5382
flume环境配置好后，使用启动命令 flume-ng agent --conf $FLUME_HOME/flumeconf/agent.conf --name a1 -Dflume.root.logger=INFO,console （$FLUME_HOME/flumeconf/agent.conf为flume的配置文件）启动时，会报如下错误： SLF4J: Actual binding...
flume启动过程中配置错误出现的异常问题
weixin_40122615的博客
10-12 9484
java.lang.NullPointerException: hdfs.path is required 19/10/11 17:20:48 INFO node.PollingPropertiesFileConfigurationProvider: Configuration provider starting 19/10/11 17:20:48 INFO node.PollingPropert...
Flume进阶
最新发布
weixin_62399938的博客
05-08 350
***/// 增加代码开始// 增加代码结束// 增加代码开始// 增加代码结束@Override@Override@Overrideelsegroup++) {break;@Override= null) {// 增加代码开始// 增加代码结束@Override// 增加代码开始!
flume启动 命令
11-25
flume启动命令如下所示： ```shell ./flume-ng agent -c ../conf -f ../conf/xxx.conf -n agent -Dflume.root.logger=INFO,console ``` 其中，`../conf`是配置文件所在的目录，`../conf/xxx.conf`是具体的配置文件路径，`-n agent`指定了agent的名称为agent，`-Dflume.root.logger=INFO,console`设置了日志级别为INFO并将日志输出到控制台。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值