flume 1.7 TailDir source重复获取数据集不释放资源解决办法

最新推荐文章于 2022-04-07 21:42:53 发布
最新推荐文章于 2022-04-07 21:42:53 发布
阅读量2k 收藏 4
点赞数
分类专栏： BigData Life 工作总结 文章标签： 数据重复 不释放资源 flume taildir
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liguangzhu620/article/details/78907582
版权
银行日志处理中，Flume 1.7 的 TailDir 源存在数据重复和资源不释放的问题。当日志文件按大小或日期切分时，TailDir 会误认为新文件导致重复读取。通过修改 ReliableTaildirEventReader 类，关闭原文件句柄并检查文件更新情况，解决了这两个问题。将修改后的代码打包到 Flume 的 lib 目录并应用，测试结果显示问题已得到解决。
摘要由CSDN通过智能技术生成

背景：银行日志生产方式一般有两种

1）按大小切分：xxx.logxxx.log1 xxx.log2，及最新日志写入.log，原来的.log mv为.log1，.log1 mv为.log2，依次类推，每个日志固定大小（10M、50M之类）。

2）按天切分：xxx.log  xxx.log-20171224(xxx.log-日期),

最低0.47元/天 解锁文章
leep-li
关注
专栏目录
flume数据丢失与重复_flume使用（五）：taildirSource重复获取数据和不释放资源解决办法...
weixin_39912250的博客
12-21 1000
本文针对【一、问题思考(1)log4j的日志文件肯定是会根据规则进行滚动的：当*.log满了就会滚动把前文件更名为*.log.1,然后重新进行*.log文件打印。这样flume就会把*.log.1文件当作新文件，又重新读取一遍，导致重复。(2)当flume监控的日志文件被移走或删除，flume仍然在监控中，并没有释放资源，当然，在一定时间后会自动释放，这个时间根据官方文档设置默认值是120000m...
flume之taildirSource重复获取数据和不释放资源解决办法
一个记录普通男孩在ＩＴ界学习思考感悟的地方
02-25 1412
本文针对flume的TailDirSource重复获取数据和不释放资源的问题进行解决。 一、问题思考 （1）log4j的日志文件肯定是会根据规则进行滚动的：当*.log满了就会滚动把前文件更名为*.log.1,然后重新进行*.log文件打印。这样flume就会把*.log.1文件当作新文件，又重新读取一遍，导致重复。 （2）当flume监控的日志文件被移走或删除，flume仍然在监控中，并没有释放资源，当然，在一定时间后会自动释放，这个时间根据官方文档设置默认值是120000ms。 二、处理方式
flume使用（五）：taildirSource重复获取数据和不释放资源解决办法
maoyuanming0806的博客
02-27 1万+
flume使用（一）：入门demo flume使用（二）：采集远程日志数据到MySql数据库 ...
Flume的TairDir Source重读问题
yunweijie_cn的博客
04-07 660
问题描述： 在数仓项目中，使用Flume的TairDir Source监控日志文件，当文件更名之后会重新读取该文件造成重复 原因分析： 因为Flume的TairDir Souce是通过inode和file来唯一确定一个文件的，当文件的名称改变之后，就会重新读取这个文件，造成读取数据的重复。 解决方案： 方案一： 使用不更名打印日志框架（logback），每天会新生成一个日志文件，文件后面会加上当天的日期信息，所以不会重复，例如file.log.2022-04-07… 方案二： 修改源码，让TairDi
flume1.7.0－taildirSource 支持多文件监控和断点续传
哎幽的成长
03-15 1万+
flume 1.7.0 推出了 taildirSource 组件。tail 监控 目录下匹配上正则表达式的 的所有文件，实现断点续传。问题但是官方的 taildirSource 组件貌似是支持nginx 日志，对于log4j 日志好像不太管用。 因为log4j 日志会自动切分，log4j 切分日志其实就是新建一个文件，然后把原来的日志文件都改名。但是 taildirSource 组件时不支持文件改
flume 一对多hdfs_Flume相关面试题知识点总结
weixin_39778393的博客
11-30 151
1 Flume组成，Put事务，Take事务1)taildir source(1)断点续传、多目录(2)哪个flume版本产生的？Apache1.7、CDH1.6(3)没有断点续传功能时怎么做的？ 自定义(4)taildir挂了怎么办？不会丢数：断点续传重复数据：(5)怎么处理重复数据？不处理：生产环境通常不处理，因为会影响传输效率处理自身：在taildirsource里面增加自定义事务找兄弟：下...
spark读取kafka数据（两种方式比较及flume配置文件）
liguangzhu620的博客
12-27 5009
Kafka topic及partition设计     1、对于银行应用日志，一个系统建一个topic，每台主机对应一个partition，规则为，flume采集时，同一个应用，数据送到同一个topic，一个主机，送一个partition，这样做是为了同一个日志的数据在一个partition中，顺序不会乱。另，flume配置文件可以配置sink的topic和partition id（xxx.
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
m0_46689661的博客
12-05 9761
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
hadoop生态面试总结(离线采集)
qq_29648601的博客
09-02 235
一、Linux 常用高级命令：ps进程，rpm安装，netstat端口，find，df磁盘，iotop磁盘读写，top内存，tar，df -h磁盘 查看系统中所有进程：ps -aux 查看子父进程之间的关系：ps -ef 列出所有安装包：rpm -qa 卸载多个安装包：rpm -qa|grep -i mariadb mysql 查看该进程网络信息：netstat -anp|grep 进程号 查看网络端口号占用情况：netstat -nlp|grep 端口号 根据名称查找文件：find xiyou/ -na
2021-02-26~27~28 大数据课程笔记 day37day38day39
qq_44745905的博客
02-28 3564
@R星校长 音乐数据中心平台 1.1 数据库与ER建模 1.1.1 数据库（DataBase） 数据库是按照数据结构来组织、存储和管理数据的仓库，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。 数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可视为电子化的文件柜，存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作，数据组织主要是面向事务处理任务。 1.1.2 数据库三范式 关系型数据库设计时，遵照一定的.
Flume
yefan_2020的博客
01-30 95
一、Flume的核心概念 1.Agent：Agent是一个JVM进程，它是以事件的形式将数据从源头送到目的地。Agent主要由三个部分组成，source，channel，sink。 2.source：source是负责接收数据到Flume Agent的组件。source组件可以处理各种类型，各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。 3.sink:sink
Flume 消息重复
RuningSun的博客
08-11 3313
Flume提供至少一次保证，事件至少被存储一次。有些场景会导致Flume最终会不只一次存储数据。 例如，RPC调用可以设置超时时间，若在超时时间内没有得到相应，及时RPC没有失败，也会被认为失败，从而引发重试。 若RPC没有失败，重试将导致相同事件再次发生。造成这数据存储端数据重复。 例如：Flume source可以写入多个Channel，若相同的source配置了多个Channel，并存...
Flume TaildirSource 实现递归
夜的博客
06-20 1433
下载源码 flume-ng-1.6.0-cdh5.7.0-src.tar.gz 修改源码 打开 org.apache.flume.source.taildir.ReliableTaildirEventReader类 找到getMatchFiles 方法 private List<File> getMatchFiles(File p...
关于Flume异常情况导致的数据重复写入问题分析
t1mon的博客
05-29 4091
环境 flume-ng 1.6.0-cdh5.15.1 问题描述 通过flume抽取kafka数据, 落地HDFS. source与channel不在本次问题分析范围内,暂且忽略. sink的部分配置如下: tier1.sinks.sink1.type=hdfs tier1.sinks.sink1.channel=channel1 tier1.sinks.sink1.hdfs.path=hdfs:...
Flume-ng-1.3.0 spooling source的方式增加了对目录的递归检测的支持
云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告
04-22 5631
原有的spooling source的方式只支持一级目录的文件变动的检测，修改了一下源码支持对目录的递归检测，可以支持多级目录下的文件变动 SpoolingFileLineReader类增加以下下方法  /**   * add by yangbutao   *   * @param files   * @param dir   * @param filter   */  pri
Flume1.7.0的TaildirSource介绍
热门推荐
在路上的学习者
07-02 1万+
使用更改后的TaildirSource，可以递归地监听配置目录的动态变化的文件。需求描述使用了SpoolDirectorySource可以配置一个监听目录，会监听该目录下所有的文件，但是如果配置目录下面嵌套了子目录，则无法监听，通过修改源码，我们可以递归地对配置目录的所有子目录的所有文件进行监听，见上一篇文章 Flume的Spooling Directory Source支持Sub-director
flume1.7.0新功能taildir日志采集
02-08 1445
第一步：解压缩 [root@service_es3 conf]# tar -zvx -f flume-ng-1.6.0-cdh5.11.0.tar.gz 第二步：修改conf的env文件 [root@service_es3 software]# cd apache-flume-1.6.0-cdh5.11.0-bin/conf/ [root@service_es3 conf]# ...
flume的taildirsource怎么配置
最新发布
04-07
可以在 flume.conf 文件中配置 taildirsource，具体配置方法可以参考以下示例： ``` agent.sources = taildirsource agent.sources.taildirsource.type = TAILDIR agent.sources.taildirsource.positionFile = /var/log/flume/taildir_position.json agent.sources.taildirsource.filegroups = group1 agent.sources.taildirsource.filegroups.group1 = /var/log/*.log agent.sources.taildirsource.batchSize = 1000 agent.sources.taildirsource.idleTimeout = 10000 ``` 其中，positionFile 表示记录文件读取位置的文件路径，filegroups 表示要监控的文件路径，batchSize 表示每次读取的最大行数，idleTimeout 表示空闲超时时间。根据实际需要进行配置即可。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值