flume 1.7 TailDir source重复获取数据集不释放资源解决办法

最新推荐文章于 2022-04-07 21:42:53 发布
最新推荐文章于 2022-04-07 21:42:53 发布
阅读量2k 收藏 4
点赞数
分类专栏： BigData Life 工作总结 文章标签： 数据重复 不释放资源 flume taildir
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liguangzhu620/article/details/78907582
版权
银行日志处理中，Flume 1.7 的 TailDir 源存在数据重复和资源不释放的问题。当日志文件按大小或日期切分时，TailDir 会误认为新文件导致重复读取。通过修改 ReliableTaildirEventReader 类，关闭原文件句柄并检查文件更新情况，解决了这两个问题。将修改后的代码打包到 Flume 的 lib 目录并应用，测试结果显示问题已得到解决。
摘要由CSDN通过智能技术生成

背景：银行日志生产方式一般有两种

1）按大小切分：xxx.logxxx.log1 xxx.log2，及最新日志写入.log，原来的.log mv为.log1，.log1 mv为.log2，依次类推，每个日志固定大小（10M、50M之类）。

2）按天切分：xxx.log  xxx.log-20171224(xxx.log-日期),

最低0.47元/天 解锁文章
leep-li
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flume数据丢失与重复_flume使用（五）：taildirSource重复获取数据和不释放资源解决办法...
weixin_39912250的博客
12-21 997
本文针对【一、问题思考(1)log4j的日志文件肯定是会根据规则进行滚动的：当*.log满了就会滚动把前文件更名为*.log.1,然后重新进行*.log文件打印。这样flume就会把*.log.1文件当作新文件，又重新读取一遍，导致重复。(2)当flume监控的日志文件被移走或删除，flume仍然在监控中，并没有释放资源，当然，在一定时间后会自动释放，这个时间根据官方文档设置默认值是120000m...
flume之taildirSource重复获取数据和不释放资源解决办法
一个记录普通男孩在ＩＴ界学习思考感悟的地方
02-25 1405
本文针对flume的TailDirSource重复获取数据和不释放资源的问题进行解决。 一、问题思考 （1）log4j的日志文件肯定是会根据规则进行滚动的：当*.log满了就会滚动把前文件更名为*.log.1,然后重新进行*.log文件打印。这样flume就会把*.log.1文件当作新文件，又重新读取一遍，导致重复。 （2）当flume监控的日志文件被移走或删除，flume仍然在监控中，并没有释放资源，当然，在一定时间后会自动释放，这个时间根据官方文档设置默认值是120000ms。 二、处理方式
flume使用（五）：taildirSource重复获取数据和不释放资源解决办法
热门推荐
maoyuanming0806的博客
02-27 1万+
flume使用（一）：入门demo flume使用（二）：采集远程日志数据到MySql数据库 ...
Flume的TairDir Source重读问题
yunweijie_cn的博客
04-07 657
问题描述： 在数仓项目中，使用Flume的TairDir Source监控日志文件，当文件更名之后会重新读取该文件造成重复 原因分析： 因为Flume的TairDir Souce是通过inode和file来唯一确定一个文件的，当文件的名称改变之后，就会重新读取这个文件，造成读取数据的重复。 解决方案： 方案一： 使用不更名打印日志框架（logback），每天会新生成一个日志文件，文件后面会加上当天的日期信息，所以不会重复，例如file.log.2022-04-07… 方案二： 修改源码，让TairDi
Flume 消息重复
RuningSun的博客
08-11 3312
Flume提供至少一次保证，事件至少被存储一次。有些场景会导致Flume最终会不只一次存储数据。 例如，RPC调用可以设置超时时间，若在超时时间内没有得到相应，及时RPC没有失败，也会被认为失败，从而引发重试。 若RPC没有失败，重试将导致相同事件再次发生。造成这数据存储端数据重复。 例如：Flume source可以写入多个Channel，若相同的source配置了多个Channel，并存...
关于Flume异常情况导致的数据重复写入问题分析
t1mon的博客
05-29 4085
环境 flume-ng 1.6.0-cdh5.15.1 问题描述 通过flume抽取kafka数据, 落地HDFS. source与channel不在本次问题分析范围内,暂且忽略. sink的部分配置如下: tier1.sinks.sink1.type=hdfs tier1.sinks.sink1.channel=channel1 tier1.sinks.sink1.hdfs.path=hdfs:...
spark读取kafka数据（两种方式比较及flume配置文件）
liguangzhu620的博客
12-27 5003
Kafka topic及partition设计     1、对于银行应用日志，一个系统建一个topic，每台主机对应一个partition，规则为，flume采集时，同一个应用，数据送到同一个topic，一个主机，送一个partition，这样做是为了同一个日志的数据在一个partition中，顺序不会乱。另，flume配置文件可以配置sink的topic和partition id（xxx.
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
m0_46689661的博客
12-05 9714
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
hadoop生态面试总结(离线采集)
qq_29648601的博客
09-02 233
一、Linux 常用高级命令：ps进程，rpm安装，netstat端口，find，df磁盘，iotop磁盘读写，top内存，tar，df -h磁盘 查看系统中所有进程：ps -aux 查看子父进程之间的关系：ps -ef 列出所有安装包：rpm -qa 卸载多个安装包：rpm -qa|grep -i mariadb mysql 查看该进程网络信息：netstat -anp|grep 进程号 查看网络端口号占用情况：netstat -nlp|grep 端口号 根据名称查找文件：find xiyou/ -na
2021-02-26~27~28 大数据课程笔记 day37day38day39
qq_44745905的博客
02-28 3536
@R星校长 音乐数据中心平台 1.1 数据库与ER建模 1.1.1 数据库（DataBase） 数据库是按照数据结构来组织、存储和管理数据的仓库，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。 数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可视为电子化的文件柜，存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作，数据组织主要是面向事务处理任务。 1.1.2 数据库三范式 关系型数据库设计时，遵照一定的.
flume数据丢失与重复_大数据之 --Flume介绍
weixin_36149065的博客
01-04 676
1.概述flume是高可用，高可靠的，分布式的海量日志采集、聚合和传输的系统。2.flume的作用用户行为日志通过前端平台存储到logservice中，通过flume的实时采集发过来的信息，然后发送到大数据平台上3.flume架构日志源-->source-->channel-->sink-->HDFSagent：就是一个JVM的进程，里面包含source，channel，s...
Flume 消息重复情况分析
ChengYanan的博客
04-24 852
Flume提供至少一次保证，事件至少被存储一次。有些场景会导致Flume最终会不只一次存储数据。 例如，RPC调用可以设置超时时间，若在超时时间内没有得到相应，及时RPC没有失败，也会被认为失败，从而引发重试。 若RPC没有失败，重试将导致相同事件再次发生。造成这数据存储端数据重复。 例如：Flume source可以写入多个Channel，若相同的source配置了多个Channel，并存储到相...
flume传输是否会丢失或重复数据？
紫蝶侠的博客
06-01 1043
flume到底会丢数据吗？ Source到Channel是事务性的， Channel到Sink也是事务性的， 这两个环节都不可能丢失数据。 唯一可能丢失数据的是Channel采用MemoryChannel， （1）在agent宕机时候导致数据在内存中丢失； （2）Channel存储数据已满，导致Source不再写入数据，造成未写入的数据丢失； flume传输是否会丢失或重复数据？   这个问题需要分情况来看，需要结合具体使用的source、channel和sink来分析。 首先，分析source： （1）e
flume 一对多hdfs_Flume相关面试题知识点总结
weixin_39778393的博客
11-30 150
1 Flume组成，Put事务，Take事务1)taildir source(1)断点续传、多目录(2)哪个flume版本产生的？Apache1.7、CDH1.6(3)没有断点续传功能时怎么做的？ 自定义(4)taildir挂了怎么办？不会丢数：断点续传重复数据：(5)怎么处理重复数据？不处理：生产环境通常不处理，因为会影响传输效率处理自身：在taildirsource里面增加自定义事务找兄弟：下...
Flume防止重复消费——断点续传
ThreeAspects的博客
11-04 1671
Flume防止重复消费基本配置断点续传原理   通常我们使用exec类型的source，通过执行 tail命令来监控采集日志的，但是如果agent进程突然挂了，下次重启采集任务，会导致日志文件内容重复采集。这里可以采用Taildir Source来防止重复消费问题。 基本配置   监听目标文件，当数据被添加到文件后能实时地tail它们。如果正在写入新行，则此source将重试读取它们以等待写入完成...
Flume实战监听文件夹内文件变化
松门一枝花
03-23 9002
Flume官网有多种场景的source，sink，channel的配置 1、flume安装目录下新建文件夹 example  2、在example下新建文件  spooldir-logger.conf 内容如下： a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe
flume的taildirsource怎么配置
最新发布
04-07
可以在 flume.conf 文件中配置 taildirsource，具体配置方法可以参考以下示例： ``` agent.sources = taildirsource agent.sources.taildirsource.type = TAILDIR agent.sources.taildirsource.positionFile = /var...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值