[WARN - org.apache.flume.channel.file.ReplayHandler.replayLog(ReplayHandler.java:279)] Ignoring ....

最新推荐文章于 2022-12-12 21:59:49 发布
最新推荐文章于 2022-12-12 21:59:49 发布
阅读量371 收藏
点赞数
分类专栏： 错误排查 文章标签： flume 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GX_0824/article/details/127018242
版权

Flume 当channel的type设置为file时，出现以下错误

[WARN - org.apache.flume.channel.file.ReplayHandler.replayLog(ReplayHandler.java:279)] Ignoring /opt/flume_Method/data/dataDir/log-36 due to EOF java.io.EOFException

将以下两个参数对应的目录清空；

checkpointDir: 将存储检查点文件的目录 

dataDirs: 用于存储日志文件的目录的逗号分隔列表。在不同磁盘上使用多个目录可以提高文件通道性能

BigData_001_Lz
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flume运行错误解决（四）ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)
bigwood99的博客
06-15 5612
设置了sink.type为hdfs 运行报错如下： ERROR-org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459) java.lang.NoSuchMethodError:com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;) 基本推测跟jar包有关。 try 1：复制hado...
org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.UnsupportedClassVersionError: Qu
杨鑫newlife的专栏
05-24 2104
既起到了一批新机器，安装了不少服务后，运行Sqoop，发现报错。 2019-05-24 10:46:40,798 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.UnsupportedClassVersionError: QueryResult : Unsupported major...
Flume快速入门（五）：File Channel之重播（replay）
大步流星
07-14 802
    当FlumeChannel启动时，或者故障恢复时，会经历一次重播（replay）过程，重播的目的就是还原上一次的“现场”，当然，最主要的就是恢复FlumeEventQueue中的内存队列相关数据。重播的主要实现是有Log类来做的，Log类的replay实现了整个重播过程，简单来说，重播过程分为如下几个步骤：   步骤1：获取检查点文件的独占锁（checkpointWriterLoc...
Flume-NG源码阅读之FileChannel
大数据技术杂谈
01-07 994
FileChannel是flume一个非常重要的channel组件，非常常用。这个channel非常复杂，涉及的文件更多涉及三个包：org.apache.flume.channel.file、org.apache.flume.channel.file.encryption(加密)、org.apache.flume.channel.file.proto共计40个源码文件。 一、conf
flume启动报错
养猪少年日记的博客
08-01 445
01 八月 2019 16:05:28,201 WARN [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:443) - HDFS IO error java.io.IOException: Failed on local exception: co...
flume file channel 异常解决
阿正的博客
05-27 3191
2016-04-21 05:40:51,393 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:160)] Unable to deliver event. Exception follows. java.la...
Flume使用file作为channel的一个错误处理
热门推荐
数据一哥，公众号：数据社
07-31 2万+
Flume报错： ERROR org.apache.flume.SinkRunner: Unable to deliver event. Exception follows. java.lang.IllegalStateException: Channel closed [channel=fileChannel]. Due to java.io.EOFException: null at org.apache.flume.channel.file.FileChannel.createTransact
tomcat-juli.jar,tomcat-juli-adapters.jar,log4j-1.2.12.jar tomcat 6日志输出
11-08
在Java Web应用服务器Tomcat 6中，日志管理是一个至关重要的部分，它帮助开发者跟踪应用程序的运行状态，排查问题，以及记录系统活动。这里提到的`tomcat-juli.jar`、`tomcat-juli-adapters.jar`和`log4j-1.2.12.jar...
flume报错：ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventS
bella1213811111的博客
05-26 5174
flume传输文件到hdfs时报错： ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:459) - process failed java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO错误的处理方法，适用于hadoop3.1.3
weixin_51273963的博客
07-03 5027
hadoop3.1.3、java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.Nativ、idea
flume中的FileChannel的优化
04-20
经过对Flume FileChannel相关源码的分析，导致FileChannel吞吐率下降的主要原因集中于事务的提交过程——commit
报错：Failed to start the file channel
u012447842的博客
11-05 5358
flume Failed to start the file channel 29 Oct 2019 11:48:18,348 ERROR [lifecycleSupervisor-1-0] (org.apache.flume.channel.file.Log.replay:502) - Failed to initialize Log on [channel=wangsu1Channel]...
flume源码分析-channel
fannk的博客
06-08 311
Channel 相当于一个管道，source写数据到channel中，sink从channel取数据。Channel有三类，memory，file，jdbc。memory速度最快，但是当机器宕机的时候数据会丢失，file数据不会丢失，jdbc速度最慢，一般选择fileChannel。    Source 中会调用ChannelProcessor的processEvent方法处理Log事件。...
flume day01 （安装+打印内容）
最新发布
qq_53822083的博客
12-12 262
flume 安装+打印内容
flume报错信息收集
wen‘s blog
07-31 1658
1.当http sink的端口，有异常的时候，sink不成功，会报transaction的提交错误，如下： 2019-02-27 16:13:24,313 (lifecycleSupervisor-1-0) [INFO - org.apache.flume.instrumentation.MonitoredCounterGroup.start(MonitoredCounterGroup.java...
_00016 Flume的体系结构介绍以及Flume入门案例(往HDFS上传数据)
妳那伊抹微笑的专栏
06-25 7123
# 学习前言 想学习一下Flume，网上找了好多文章基本上都说的很简单，只有一半什么的，简直就是坑爹，饿顿时怒火就上来了，学个东西真不容易，然后自己耐心的把这些零零碎碎的东西整理整理，各种搭环境实验之后才弄好的，也不容易啊，希望可以帮到想学Flume的你 、、、 # Flume介绍 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制
Flume1.4学习问题记录
weixin_33695450的博客
02-01 213
1、red hat9 上安装 flume-1.4.0 ，配置好环境变量：vi /etc/profileFLUME_HOME=/usr/flume-1.4.0PATH = $PATH:$FLUME_HOME/binexport FLUME_HOME PATH进入：flume-1.4.0目录运行 bin/flume-ng agent -n a1 -c conf -f conf/agent1.conf...
Flume - FileChannel源码详解
qianshanding0708的博客
11-21 6527
FileChannel在Flume是一个非常重要的Channel，FileChannel可以很好的保证数据的完整性和一致性，提供了类似mysql binlog的机制，保证机器down机，JVM异常退出时数据不丢失，在采集数据量很大的情况下，建议FileChannel设置的目录和程序日志文件保存的目录设成不同的磁盘，以便提高效率。 FileChannel的简易类结构：       Fi...
Flume常见错误整理（持续更新ing...）
光于前裕于后的博客
08-12 2万+
进来看！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值