flume启动时报错：Failed loading positionFile: /opt/module/flume/taildir_position.json

最新推荐文章于 2024-08-03 16:57:38 发布
最新推荐文章于 2024-08-03 16:57:38 发布
阅读量1.4k 收藏 1
点赞数
文章标签： flume 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56495147/article/details/129388429
版权

flume启动时报错：Failed loading positionFile: /opt/module/flume/taildir_position.json

java.io.EOFException: End of input at line 1 column 1

在这里插入图片描述

原因：在第一次运行时出现了错误，但taildir_position.json文件依然存在。在这里插入图片描述
解决方法：首先找到taildir_position.json文件，将其删除。然后修改配置文件，确认配置文件无误。重新启动flume即可。

·小菜鸡
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
flume_exporter:普罗米修斯水槽出口商
05-27
./flume_exporter [flags] 标志帮助： ./flume_exporter --help 配置：config.yml agents: - name: "flume-agents" enabled: true # multiple urls can be separated by , urls: [...
记录一下flume中因为taildir_position.json因位置不对导致数据无法从kafka被采到hdfs上的问题
yuanlaishidahuaa的博客
04-19 445
最后发现是我的taildir_position.json之前在/opt/module/flume/jobs/collectionProject路径下（4.JSONObject.class（flume/lib中也已经导入），我需要用flume将kafka上的数据采集到hdfs上，发现数据怎么到不了hdfs。），导致flume读不到这个文件的位置，所以无法从kafka将数据读到hdfs。MySQL数据库的增量数据已从kafka成功同步到hdfs~2.我的flume配置文档（没问题），3.时间拦截器（没问题），
关于Flume报错问题集
liuli031874的博客
10-14 698
而hdfs 是基于hive ，hive里面的jar包用的版本与flume lib下的jar包版本相差太大，导致无法正常运行。经过测试，是guava-27.0-jre.jar包版本太高，所以我们先删除flume lib下低版本的guava-xxx-jre.jar，将hive lib高版本的guava-27.0-jre.jar它拷贝到flume的lib下即可。重启flume即可。
flume流程之taildir-memory-hdfs
鸭梨的博客
12-23 262
如下 #agent1 name agent1.channels = c1 agent1.sources = r1 agent1.sinks = k1 agent1.sources.r1.channels = c1 #监控文件夹 agent1.sources.r1.type = TAILDIR #元数据保存位置 agent1.sources.r1.positionFile = /home/data/flume_log/taildir_position.json agent1.sources.r1.fileg
解决Flume执行命令常遇错误
2301_79567237的博客
10-15 593
一.解决Flume执行命令时遇到的ChannelException和InterruptedException异常2.问题原因:这个异常的出现通常是由于以下原因引起的：(1).系统资源（例如内存或CPU）不足，导致Flume执行过程中被迫中断。3.解决方法:针对上述问题，我们可以采取以下措施来解决Flume遇到的ChannelException和InterruptedException异常：(1).如果系统资源不足，可以考虑增加系统的内存或CPU。
Flume实现多数据源启动报错(不影响使用)
weixin_40111554的博客
06-06 806
flume异常
解决启动flume时,出现问题警告和报错的问题 No configuration directory set
qq_44513460的博客
12-18 7881
解决flume在启动时,出现的警告和报错问题
[已解决]启动Flume报错java.lang.ClassNotFoundException:memory
雷神乐乐的博客
03-06 725
[已解决]启动Flume报错java.lang.ClassNotFoundException:memory
数仓4.0笔记——用户行为数据采集四
zhangzhagn_的博客
07-19 380
数仓4.0笔记——用户行为数据采集四（观看尚硅谷视频笔记）flume
基于java的开发源码-日志服务器 Apache Flume.zip
02-29
基于java的开发源码-日志服务器 Apache Flume.zip 基于java的开发源码-日志服务器 Apache Flume.zip 基于java的开发源码-日志服务器 Apache Flume.zip 基于java的开发源码-日志服务器 Apache Flume.zip 基于java的...
Flume 抽取MYSQL Oracle数据 JSON格式 推送Kafka
05-28
Flume二次开发，支持抽取MYSQL Oracle数据库数据 以JSON格式推送至Kafka。 demo： sql_json.sources.sql_source.type = com.hbn.rdb.source.SQLSource sql_json.sources.sql_source.connectionurl = jdbc:oracle:...
flume_sink_ext:flume收集日志到postgrepsql ,es扩展
04-29
mvn clean mvn install将代码打成jar包后，上传到flume安装目录下的lib文件夹中，同时需要上传SQL的驱动jar包 -------------测试假脱机目录源-------------------------- conf：dbsql_sink.conf Name the components...
rocketmq_flume_project.zip
12-18
flume接入rocketmq消息队列 项目 在rocketmq-flume项目根目录执行mvn clean install dependency:copy-dependencies进行源码编译，产生 ... <flume.version>1.9.0</flume.version> <rocketmq.version>3.2.6</ro
Flume 深入理解02 案例 串联 可靠性 拦截器 avro taildir kafka Interceptor timestamp static Host UUID 拦截器加密 多路选择案例
湖中屋的博客
07-29 716
Flume1.9.0启动报错信息
flume启动报错 Could not find or load main class org.apache.flume.node.Application
十色花的博客
09-11 7065
修改flume的文件夹名称后，启动flume可能会失败，错误信息如下： Error: Could not find or load main class org.apache.flume.node.Application 这个是因为环境变量的问题。 export看一下是不是有个FLUME_HOME的环境变量指向原来的文件夹， 如果是的话： unset FLUME_HOME 就行了...
flume问题
zengqinn123的博客
12-20 797
flume 1.7 使用dir断点续传问题agent.sources.athena-web-point-source.type = TAILDIR，使用这种模式报错 agent.sources.athena-web-point-source.type = TAILDIR，使用这种模式报错 java.io.EOFException: End of input at line 1 column 1 a...
Flume 1.9.0 源码解析 : TailDirSource 全解
张伯毅的专栏
05-07 5167
TailDirSource继承了AbstractSource类，而AbstractSource类中channelProcessor属性负责将Source中的Event提交给Channel组件 TailDirSource类通过配置参数匹配日志文件，获取日志文件更新内容并且将已经读取的偏移量记录到特定的文件当中(position file) 类图: TailDirSource 启动的...
Flume基础入门
qq_42508714的博客
11-20 266
1.Flume简介 flume是一个日志采集工具，使用Event在中间传输，event可以携带headers，以byte数组的形式发送。为了保证一定传输成功，flume每个agent都有俩个事务，一个是source和channel之间的事务，一个是channel和sink之间的事务。 在数据传输的过程中，在到目的地之前会先缓存数据，直至成功以后才会删除数据 2.source类型 netcat ...
Flume系列之：把flume配置写入到zookeeper节点
最新发布
zhengzaifeidelushang的博客
08-03 87
【代码】Flume系列之：把flume配置写入到zookeeper节点。
[atguigu@node11 flume]$ echo $PATH /home/hadoop/zookeeper/bin:/usr/local/flume/bin:/usr/local/hbase/bin:/home/hadoop/zookeeper/bin:/usr/local/flume/bin:/usr/local/hbase/bin:/home/hadoop/zookeeper/bin:/usr/local/flume/bin:/usr/local/hbase/bin:/usr/java/jdk1.8.0_361/bin:/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt/module/jdk1.8.0_361/bin:/opt/module/hadoop-3.1.3/bin:/opt/module/hadoop-3.1.3/sbin:/opt/module/sbt:/usr/local/flume/bin:/usr/local/hbase/bin:/home/atguigu/.local/bin:/home/atguigu/bin
06-11
从您提供的输出来看，您的Flume安装路径为"/usr/local/flume/bin"，并且在环境变量中已经正确配置了Flume的安装路径。因此，Flume的安装路径应该是正确的。 您可以尝试在Flume的安装目录下执行"./bin/flume-ng version"命令，查看是否能够正确输出Flume的版本信息。如果还是无法输出版本信息，可能是您的Flume存在其他问题，可以查看Flume的日志文件，通常位于"logs/flume.log"，查看是否有相关的错误信息。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

·小菜鸡

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值