flume采集文件写hdfs不能创建目录的问题

最新推荐文章于 2024-05-11 16:00:09 发布
最新推荐文章于 2024-05-11 16:00:09 发布
阅读量1.7k 收藏 6
点赞数 1
分类专栏： hadoop 文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39954916/article/details/109394305
版权
本文介绍了使用 Flume 采集数据到 HDFS 时遇到的常见问题，包括配置文件中监听端口与 Hadoop 端口不一致导致的数据无法写入，Guava 库版本冲突引发的 NoSuchMethodError 错误，以及文件权限不足引起的写入失败。针对这些问题，分别提供了相应的解决方案，如调整配置文件端口，替换 Guava jar 包，以及使用正确权限设置 HDFS 目录。
摘要由CSDN通过智能技术生成

用exec source运行flume-ng agent后hdfs上不能创建指定的文件目录，可能的三种情况如下

一、配置文件中的监听端口和hadoop下的core-site.xml中的端口不一致

在我新建的.conf文件里面，需要配置hdfs的路径

hdfs://192.168.122.102:9000/flume/upload/%Y%m%d/%H

注意：此处端口号应该和hadoop下的core-site.xml里面的配置一样，否则写入不到Hdfs，这里最为致命

然后，开启flume监听端口。

二、guava-11.0.2.jar版本不一致

执行flume任务时报错：
Exception in thread “SinkRunner-PollingRunner-DefaultSinkProcessor” java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

解决办法：
将flume的lib下的低版本guava-11.0.2.jar换成Hadoop下的高版本guava-27.0-jre.jar

cd /usr/local/hadoop-3.1.3/share/hadoop/common/lib/
cp guava-27.0-jre.jar /usr/local/flume-1.9.0/lib/
  • 然后重新执行flume任务不再报错。

三、文件权限问题

1、在普通用户权限下执行flume-ng agent后可能会提示"/opt/module/flume/flume

最低0.47元/天 解锁文章
斯特兰奇
关注
专栏目录
Flume04：【案例】使用Flume采集文件内容上传至HDFS
weixin_40612128的博客
03-03 7666
案例：采集文件内容上传至HDFS 接下来我们来看一个工作中的典型案例： 采集文件内容上传至HDFS 需求：采集目录中已有的文件内容，存储到HDFS 分析：source是要基于目录的，channel建议使用file，可以保证不丢数据，sink使用hdfs 下面要做的就是配置Agent了，可以把example.conf拿过来修改一下，新的文件名为file-to-hdfs.conf 首先是基于目录的source，咱们前面说过，Spooling Directory Source可以实现目录监控 来看一下这个Spoo
大数据之使用Flume监听本地文件采集数据流到HDFS
2301_78038072的博客
01-09 1025
编写新的Flume配置文件，将数据备份到HDFS目录/user/test/flumebackup下，要求所有主题的数据使用同一个Flume配置文件完成，将Flume的配置截图粘贴至对应报告中。-Dflume.root.logger=INFO,console 打印输出在控制台上。进入/data_log路径运行脚本make_data_file_v1产生数据源。
Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤
03-08
自己研究大数据多年，写的一个日志数据采集方案笔记，可快速熟悉Flume，Kafka，Hdfs的操作使用，以及相互的操作接口。
Flume输出（sink）至hdfs没有生成文件夹
累迹的博客
04-28 2172
问题描述 Flume运行时，没有链接上hdfs，也没有报出异常。 问题解决 查看官方文档显示 hdfs.path – HDFS directory path (eg hdfs://namenode/flume/webdata/) 在配置conf文件时，需要指定namenode的端口，去hadoop文件下查看core-site.xml文件，这个端口号是配置hadoop时设置的。 vim etc/hadoop/core-site.xml # 这里我配置的端口号是8020 <property>
文件写入HDFS之后没有文件显示
qq_41605695的博客
03-10 1952
Java demo写文件到HDFS，写完之后指定目录下没有对应的文件显示。 问题： 没有进行文件存储路径的存在性判断，创建的操作 解决： Configuration conf = new Configuration(); FileSystem fileSystem = FileSystem.get(conf); Path pathDst = new Path(hdfsPath); //判断路径存在...
如何解决使用Flume采集Hive日志时，HDFS不显示相关文件
最新发布
qq_73624158的博客
05-11 529
记住该路径后面要用！！！检验配置是否生效开启hadoop集群，如果已经开启请关闭后重启出现类似以上内容即为正常以上都是对hive中没有明确定义hive日志位置的解决，但是即使我们明确配置了hive的日志文件位置却依然无法解决问题。2.flume相关文件配置不当下面我们就需要对hive-flume-hdfs.conf文件进行配置这个路径因人而异，要记住，后面要用这个位置需要大家更改成我们原先设置hive日志文件储存的路径。
flume 无法写数据到 hdfs
weixin_46376562的博客
07-28 3080
问题呈现： flume启动后一直停在sink已经启动。。。 控制台看不到报错信息。。。 hdfs上查看不到数据。。。 解决方法： 检测是否为kafka问题，因为消费的是Kafka中的数据。 1） 使用 kafka-consumer-groups.sh 检测消费情况 2） 不断生成新的数据，发现数据会被 flume 消费（ 但没有写入 hdfs ） 检测是否为 flume 问题 新建一个简单的 flume 配置文件，让采集本地数据到 hdfs ，这么一来，终于发现问题了（有报错信息了） 2021-07-27
flume配置hdfs sink时没有按照滚动规则滚动生成文件
weixin_49520007的博客
08-27 346
flume配置hdfs sink时没有按照滚动规则滚动生成文件 问题描述 # ------------------- 定义数据流---------------------- # source的名字 flume2HDFS_agent.sources = source_from_kafka # channels的名字，建议按照type来命名 flume2HDFS_agent.channels = mem_channel # sink的名字，建议按照目标来命名 flume2HDFS_agent.sinks
HDFS上无法出现目录，怎么办？
bbrry的博客
04-14 3682
hdfs配置文件已配好，但启动后hdfs平台上无法出现目录，怎么办？
数仓采集项目【05使用flume将日志文件收集到HDFS】
weixin_43923463的博客
06-11 1252
logger server – flume读数据 – kafka – flume – hdfs第一层flume：taildir source – memory channel（或者file channel） – kafka sink 【传统架构】【√】​ taildir source – kafka channel 【使用kafka channel】第二层flume：kafka source – memory channel（或者file channel） – hdfs sink 【传统架构】【√】
Hadoop伪分布式NameNode启动失败：storage directory does not exist
梦忆故城的博客
03-19 2933
在启动hadoop的HDFS时显示NameNode启动失败。 首先，查看日志文件，找到报错信息： 报错分析：伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行（可参考官方教程），但是如果不设置hadoop.tmp.dir参数的话，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系...
Flink StreamingFileSink 文件到hdfs 文件一直处于inprogress状态无法生成正式文件
cullinans的博客
01-30 7470
问题描述： 任务逻辑是通过实时读取Kafka数据，一分钟计算一次数据，并利用Flink StreamingFileSink将数据落地到HDFS文件中。为了应对大促剧增的数据量，对当前运行稳定的集群进行了扩容处理，任务重启后发现写入的hdfs文件一直处于inprogress状态无法滚动生成正式文件。 解决过程： 开始是猜想可能是并行度过多，导致产生大量临时文件，文件句柄太多，关闭耗时导致文件一直无法完成合并？将并行度调整到1，发现问题并没有解决。 又猜想是因为调整了checkpoint参数，禁用掉che
flume传送数据到hdfs上报错
总分全班第一
05-19 2031
1，错误主要日志如下 2019-05-19 08:38:58,582 (agent-shutdown-hook) [INFO - org.apache.flume.instrumentation.MonitoredCounterGroup.stop(MonitoredCounterGroup.java:178)] Shutdown Metric for type: CHANNEL, name: c...
利用flume监控文件并上传到hdfs上面出现的问题
小旭IT-分享技术
10-28 2251
项目场景：利用flume监控文件并上传到hdfs上面出现的问题 问题描述： 在： @Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToTarget(); } 原因分析： 提示：这里填写问题的分析： 例如：Handler 发送消息
上传文件到hdfs时报错bash: ./bin/hdfs: 没有那个文件或目录解决方法
热门推荐
weixin_55501516的博客
10-20 1万+
原因：配置文件没有配置好 首先打开配置文件 1 sudovim/etc/profile 　　接着，在配置文件的最下面，追加三行配置，如下图所示 注意：前两行的=号后面填写的是你的JAVA和HADOOP的安装路径。 补充：可在终端下输入以下的命令来查看安装目录 1 2 echo$JAVA_HOME echo$HADOOP_HOME 　　配置文件保存好后，需通过如下命令使其生效。 ...
4，flume 实例：文件 ➜ hdfs
孙砚秋的博客
07-14 275
一 ， 分析 ： 1 ，需求 ： hive 的每次操作，都会产生一个日志。 我们把这个日志，上传到 hdfs 。 2 ，上传 jar 包 ：到 flume 中 为什么 ： flume 要想跟 hdfs 发文件，需要 hadoop 的 jar 包。 hadoop 的 jar 包在哪里 ： /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop 需要哪些 jar 包 ： commons-configuration-1.6.jar commons-io-2.4.j
Flume监控Hive日志并上传到HDFS
dj_hanhan的博客
11-24 1171
一、 实时监控单个追加文件 1.需求：实时监控Hive日志，并上传到HDFS 2.实现步骤： （1）上传Hadoop相关jar包到flume/lib目录下 flume相关jar包 https://blog.csdn.net/Dj_hanhan/article/details/110097742 （2）进入usr/flume/job目录，创建flume-file-hdfs.conf 文件 # Name the components on this agent a2.sources = r2 a2.sinks
【Hadoop生态圈】2.使用Flume采集日志数据到HDFS中
皓亮君的博客
09-21 7816
使用Flume采集日志数据到HDFS中
Flume采集数据到Kafka，然后从Kafka存储到HDFS的实践指南
"Flume采集数据到Kafka，然后从kafka取数据存储到HDFS的方法思路和完整步骤" 在大数据处理中，Flume、Kafka和HDFS是三个常用的技术栈，分别负责数据采集、数据传输和数据存储。下面是使用Flume采集数据到Kafka，...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值