flume tailsource 重读问题

最新推荐文章于 2021-11-23 16:42:11 发布
最新推荐文章于 2021-11-23 16:42:11 发布
阅读量277 收藏
点赞数
文章标签： 大数据 java python
原文链接：https://my.oschina.net/ToFlySeif/blog/1802957
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

已修改完毕的jar包下载---flume-taildir-jar

flume 的source 使用taildir ,监控整个目录里面 (匹配config设置的正则表达式的) 所有文件,相对于spooldir文件内容可以动态追加 flume tairdir source jar包需要修改两个地方,解决log4j 分割文件名字变化导致重读的问题.将jar包源码下载到本地更改后打成jar包上传到服务器.

\apache-flume-1.7.0-src\flume-ng-sources\flume-taildir-source\src\main\java\org\apache\flume\source\taildir\ReliableTaildirEventReader.java 
Method:loadPositionFile

输入图片说明

Method:updateTailFiles:

输入图片说明

转载于:https://my.oschina.net/ToFlySeif/blog/1802957

weixin_34245082
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
flume-TailSource分析
cai110991的专栏
03-17 2235
TailSource 首先看一下tail这种source的使用接口，下面是flume-0.9.4的文档， tail("filename"[, startFromEnd=false]{,delim="regex", delimMode="exclude|prev|next"}) :: Similar to Unix’s tail utility. One line is one event. G
Flume的TaildirSource配置路径匹配滚动时间（修改源码）
weixin_45594417的博客
04-02 2734
修改Flume中TaildirSource源码采集按时间滚动目录
Flume TailDirSource问题
02-14 2687
在使用Flume的tailDirSource时，发现每天凌晨log文件名切换时会丢失日志，查看源码发现，发现log文件名修改后不符合flume file group定义的正则表达式，导致改过名的日志文件不会再被flume读到；后来改了正则表达式，适应改名后的log文件，但发现改名后的log文件会被flume当成新文件，重新读一遍，再看源码，发现tailDirSource通过inode和filePat
flume ng之TailSource
weixin_30295091的博客
03-24 93
在它里面自带了一个TailSource以及TailDirSource，这个Source是负责读取一个文件，并一行一行的发送到sink端，而在flume-ng 1.4.0里面没有自带TailSource，更别说TailDirSource了，虽然我们可以在flume-ng 1.4.0里面用exec的tail -F来一行一行的发送文件，但是还是不太好。而且公司最近flume需要升级，之前的程序用到了Ta...
flume的TaildirSource介绍及升级改造
小强签名设计 的博客
06-09 4471
flume 1.7.0推出了taildirSource组件。tail监控目录下匹配上正则表达式的的所有文件，实现断点续传。 但是我后来发现cdh版的flume-1.6.0也已经有这个组件了，而官方的Apache版的apache-flume-1.6.0-bin却没有这个组件。并且Apache版的flume1.7.0比cdh版的flume1.6.0的org.apache.flume.source.t
尚硅谷大数据技术之Flume
03-23
尚硅谷大数据技术之Flume Flume 是 Cloudera 提供的一个高可用的、 高可靠的、分布式的海量日志采集、聚合和传输的系统。 Flume 基于流式架构，灵活简单。 1.1 Flume 定义 Flume 是一个高可用的、 高可靠的、...
Flume用法
01-07
Flume包含三部分 Source:从哪收集,一般使用：avro(序列化),exec(命令行),spooling(目录)，taildir(目录和文件，包含offset,不会数据丢失),kafka Channel:数据存哪里:(memory,kafka,file) Sink:数据输出到...
Flume集群搭建1
08-08
Apache Flume 是一个分布式、可靠且可用的服务，用于有效地收集、聚合和移动大量日志数据。在本场景中，我们将讨论如何在两台机器（hadoop12 和 Hadoop13）上搭建一个简单的 Flume 集群，以便进行数据推送和拉取。 ...
Flume 数据采集实战
最新发布
12-22
《Flume 数据采集实战》 Flume 是大数据领域中常用的数据采集工具，它能高效地从各种数据源收集数据，然后传输至其他组件，如 Spark 或 Kafka，以便进行进一步的分析处理。在日志分析场景下，Flume 常用于收集...
Flume笔记.zip
04-04
《Flume：大数据实时数据采集详解》 Apache Flume 是一个分布式、可靠且可用于有效收集、聚合和移动大量日志数据的系统。它设计简洁，易于配置，是大数据环境中进行实时数据流处理的重要工具。Flume 的核心概念包括...
Flume使用之Taildir Source监听多个追加文件
FlatTiger的博客
02-23 838
Taildir Source原理： source使用exec时，如果flume采集数据过程中发生了异常，导致agent进程结束。启动agent时，flume会从监听文件的开始位置读取文件，会造成数据的重复。 为了避免这一问题，我们可以使用Taildir Source。Taildir Source在采集数据时，会记录每个监听文件的索引位置。索引位置会记录在taildir_position.json文件中。启动agent，flume会从监听文件索引位置开始采集数据。如果监听文件内容被覆盖，索引会重新记录。 实现
flume使用（五）：taildirSource重复获取数据和不释放资源解决办法
maoyuanming0806的博客
02-27 1万+
flume使用（一）：入门demo flume使用（二）：采集远程日志数据到MySql数据库 ...
Flume Taildir Source监听实时追加内容的文件
感谢你的关注~~~~ღ( ´･ᴗ･` )
11-15 725
flume中有三种可监控文件或目录的source、分别是Exec Source、Spooling Directory Source和Taildir Source。 Taildir Source是1.7版本的新特性，综合了Spooling Directory Source和Exec Source的优点。 1、flume中有三种可监控文件或目录的source、分别是Exec Source、Spooli...
flume使用taildir，监控多个文件夹下的多个文件
weixin_41590998的博客
11-13 3185
在flume1.6及之前，要监控多个目录下的多个文件，可以使用Filelistener，在flume1.7之后，增加了TAILDIR，主要是监控文件的变化 下面介绍taildir的使用： 第一步：在flume中创建conf配置文件，我的是创建在：flume下的job文件夹中，job文件夹是我自定义的用来存放conf配置文件的： /opt/module/flume/job/flume-mysourc...
【Flume 中Taildir Source问题与解决方案】
qq_44141629的博客
11-23 2602
Taildir Source适合用于监听多个实时追加的文件，并且能够实现断点续传 一.上传成功的文件修改后任可以检测到再续传 二.源码中实现是否重新上传是由inode和file名共同决定，只要其中有一个变化就会重新上传，比如hive日志中每一天都会新生成一个hive.log,而前一天的hive.log会加上日期后缀，文件名会更改，这样导致flume重新采集上传，出现冗余 如果采用只监控hive.log，不管后缀，不会有更名影响产生冗余，但是 inode肯定会变化，如果前一天晚上任务挂点，到了第二天看到，那
TailDirSource
手提青灯觅佳人的博客
03-29 635
特点： 1、TailDirSource以接近实时的所读监控文件中写入的新行 2、TailDirSource检测文件中写入的新行，并且将每个文件tail的位置记录在一个JSON的文件中 3、即使agent挂了，重启后，source从上次记录的位置继续执行tail操作 4、用户可以 修改Position文件的参数，来改变source继续读取的位置，如果postion文件丢失了，那么sourc...
Flume1.7.0的TaildirSource介绍
热门推荐
在路上的学习者
07-02 1万+
使用更改后的TaildirSource，可以递归地监听配置目录的动态变化的文件。需求描述使用了SpoolDirectorySource可以配置一个监听目录，会监听该目录下所有的文件，但是如果配置目录下面嵌套了子目录，则无法监听，通过修改源码，我们可以递归地对配置目录的所有子目录的所有文件进行监听，见上一篇文章 Flume的Spooling Directory Source支持Sub-director
flume1.7.0－taildirSource 支持多文件监控和断点续传
哎幽的成长
03-15 1万+
flume 1.7.0 推出了 taildirSource 组件。tail 监控 目录下匹配上正则表达式的 的所有文件，实现断点续传。问题但是官方的 taildirSource 组件貌似是支持nginx 日志，对于log4j 日志好像不太管用。 因为log4j 日志会自动切分，log4j 切分日志其实就是新建一个文件，然后把原来的日志文件都改名。但是 taildirSource 组件时不支持文件改
flume学习05---Exec Source
chbxw
03-19 6405
Exec SourceExec Source在启动时运行给定的Unix命令，并期望进程在标准输出上产生连续的数据（除非属性logStdErr设置为true，否则stderr将被丢弃）。 如果进程由于任何原因退出，source也会退出，并且不会生成更多数据。 这意味着诸如cat [named pipe]或tail -F [file]之类的配置将产生期望的结果，其中日期可能不会 - 前两个命令产生数据流
flume零点漂移问题
09-13
关于Flume的零点漂移问题，可以更详细地描述一下你的问题吗？这样我才能给出更准确的回答。Flume是一个分布式的日志收集系统，它可以从多个数据源收集日志并将其传输到目标系统。零点漂移通常指的是Flume中事件时间...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值