TailDirSource

最新推荐文章于 2022-02-25 11:15:45 发布
最新推荐文章于 2022-02-25 11:15:45 发布
阅读量636 收藏
点赞数
文章标签： java linux python 数据库 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46845300/article/details/110158627
版权

特点：

1、TailDirSource以接近实时的所读监控文件中写入的新行

2、TailDirSource检测文件中写入的新行，并且将每个文件tail的位置记录在一个JSON的文件中

3、即使agent挂了，重启后，source从上次记录的位置继续执行tail操作

4、用户可以 修改Position文件的参数，来改变source继续读取的位置，如果postion文件丢失了，那么source就会重新从每个文件的第一行开始读取重复读()

配置

手提青灯觅佳人
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
十一：Flume常用Source配置-taildir-source
weizhonggui的博客
01-27 1861
一：Flume概述： Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts of log data from many different sources to a centralized data ...
TaildirSource文件监控原理探究
最新发布
Moonlightxiang的博客
12-17 275
TaildirSource的作用是实时监控指定目录中新增文件的变化，并将这些新增文件的内容发送给 Flume 的后续处理组件，如拦截器、转换器和接收器等。是 Apache Flume 中的一个源（Source）类型，用于监视指定目录下的文件，并将文件的内容作为事件发送到 Flume 的通道（Channel）。对象，这个对象我们放在后面分析，接着开启两个单线程的延时调度线程池，分别用来检查文件是否更新和回写断点续传文件。。
flume使用（四）：taildirSource多文件监控实时采集
热门推荐
maoyuanming0806的博客
02-27 1万+
flume使用（一）：入门demo flume使用（二）：采集远程日志数据到MySql数据库 ...
Flume-1.7.0之 Taildir Source & logger Sink
shufangreal的博客
06-20 409
Flume-1.7.0之TAILDIR Source Taildir Source简介 Taildir Source可以监控指定文件，而且一旦有数据追加到每个文件，这种source都能实时的跟踪并发现文件的数据追加，这个source会等待数据写完，然后尝试接着读取这些文件。 Taildir Source是可靠的，它不会丢失数据即使监控的文件进行滚动并产生新数据，因为它会周期性的将每个文件的每次读取的最后的position位置以json的格式写入到文件，就算flume停止或者down掉，重启之后还是从每个文件
flume的TaildirSource介绍及升级改造
小强签名设计 的博客
06-09 4480
flume 1.7.0推出了taildirSource组件。tail监控目录下匹配上正则表达式的的所有文件，实现断点续传。 但是我后来发现cdh版的flume-1.6.0也已经有这个组件了，而官方的Apache版的apache-flume-1.6.0-bin却没有这个组件。并且Apache版的flume1.7.0比cdh版的flume1.6.0的org.apache.flume.source.t
xmen-taildir-source:在官方flume-taildir-source的基础上修改和优化，适用于以rsync、scp等同步日志导致同一文件inode会变化的场景
05-08
xmen-taildir-source在官方flume-taildir-source的基础上修改和优化，适用于以rsync、scp等同步日志导致同一文件iNode会变化的场景主要修改以下几点：修改使用文件全路径替换inode作为TailFiles的key，避免同一文件...
flume-taildir-source-1.9.0.jar
05-24
flume断点续传覆盖jar，使用组件flume-taildir-source-1.9.0覆盖flume/bin目录下的jar即可
9.数据提取文档1
08-08
Flume提供了多种Source类型，如Avro Source、Thrift Source、Exec Source、Spooling Directory Source和TailDir Source等。Avro和Thrift Source主要用于异构环境中的RPC数据交换，而Exec Source则执行特定的Unix命令...
tail-file-source:用于拖尾文件的 Flume NG 源
07-11
source.tail.type = taildir source.tail.channels = memChannel source.tail.filenamePattern = /var/log/app/*.log source.tail.ignoreOlderThan = 5m source.tail.sincedb_path = /var/flume/taildir_state.db ``...
项目介绍6.docx大数据项目+项目介绍+面试辅导
08-08
日志服务器上的数据再通过Flume进行采集，Flume选择1.7版本，利用taildirsource组件进行监控，确保数据安全传输。 三、遇到的问题与解决 在搭建过程中，作者面临了如集群规模的确定、数据备份、Flume组件的选择等...
flume使用Taildir Source采集文件夹数据到hdfs
hyj
04-21 2220
一、说明 1、此方式适合生产环境； 2、Taildir Source 是Apache flume1.7新推出的，但是CDH Flume1.6做了集成； 3、Taildir Source是高可靠（reliable）的source，他会实时的将文件偏移量写到json文件中并保存到磁盘。下次重启Flume时会读取Json文件获取文件O偏移量，然后从之前的位置读取数据，保证数据零丢失； 4、tai...
Flume中的TaildirSource
iie_libi的博客
04-07 2932
Flume中的TaildirSource   关键字：Flume、TaildirSource、TailFile、Source 在通过Flume收集日志的业务场景中，一般都会遇到下面的情况，在日志收集服务器的某个目录下，会按照一段时间生成一个日志文件，并且日志会不断的追加到这个文件中，比如，每小时一个命名规则为log_20151015_10.log的日志文件，所有10点产生的日志都会追加到这个
Flume使用之Taildir Source监听多个追加文件
FlatTiger的博客
02-23 840
Taildir Source原理： source使用exec时，如果flume采集数据过程中发生了异常，导致agent进程结束。启动agent时，flume会从监听文件的开始位置读取文件，会造成数据的重复。 为了避免这一问题，我们可以使用Taildir Source。Taildir Source在采集数据时，会记录每个监听文件的索引位置。索引位置会记录在taildir_position.json文件中。启动agent，flume会从监听文件索引位置开始采集数据。如果监听文件内容被覆盖，索引会重新记录。 实现
flume之taildirSource重复获取数据和不释放资源解决办法
一个记录普通男孩在ＩＴ界学习思考感悟的地方
02-25 1362
本文针对flume的TailDirSource重复获取数据和不释放资源的问题进行解决。 一、问题思考 （1）log4j的日志文件肯定是会根据规则进行滚动的：当*.log满了就会滚动把前文件更名为*.log.1,然后重新进行*.log文件打印。这样flume就会把*.log.1文件当作新文件，又重新读取一遍，导致重复。 （2）当flume监控的日志文件被移走或删除，flume仍然在监控中，并没有释放资源，当然，在一定时间后会自动释放，这个时间根据官方文档设置默认值是120000ms。 二、处理方式
【Flume 中Taildir Source问题与解决方案】
qq_44141629的博客
11-23 2605
Taildir Source适合用于监听多个实时追加的文件，并且能够实现断点续传 一.上传成功的文件修改后任可以检测到再续传 二.源码中实现是否重新上传是由inode和file名共同决定，只要其中有一个变化就会重新上传，比如hive日志中每一天都会新生成一个hive.log,而前一天的hive.log会加上日期后缀，文件名会更改，这样导致flume重新采集上传，出现冗余 如果采用只监控hive.log，不管后缀，不会有更名影响产生冗余，但是 inode肯定会变化，如果前一天晚上任务挂点，到了第二天看到，那
【Flume】TailDirSource源码理解
weixin_33862993的博客
12-14 872
TaildirSource类图如下（列出主要类） TailDirSource类TailDirSource继承了AbstractSource类，而AbstractSource类中channelProcessor属性负责将Source中的Event提交给Channel组件TailDirSource类通过配置参数匹配日志文件，获取日志文件更新内容并且将已经读取的偏移量记录到特定的文件当中(positi...
Flume 1.9.0 源码解析 : TailDirSource 全解
张伯毅的专栏
05-07 5167
TailDirSource继承了AbstractSource类，而AbstractSource类中channelProcessor属性负责将Source中的Event提交给Channel组件 TailDirSource类通过配置参数匹配日志文件，获取日志文件更新内容并且将已经读取的偏移量记录到特定的文件当中(position file) 类图: TailDirSource 启动的...
【高阶实战】顶级运营商大数据实时分析项目
10-16
Spark开发工程师课程旨在帮助同学们收获一份有含金量、能写在简历上的项目经验，课程无死角讲解项目每个环节。课程内容涉及项目业务介绍、技术选型与架构设计、项目的架构演进、手机端到服务端数据流程、日志采集设计与要求、日志采集拓扑结构、线上和本地集群资源规划、项目全流程开发、项目总结、项目面试21问。项目内容比较丰满，零基础的同学可以从基础学到项目，有基础的同学可以直接选择项目学习。
taildir source
03-16
taildir是一种在Flume中使用的数据源，用于监视指定目录下的文件并将数据读取到Flume事件中。它可以实时监测文件的变化，并自动读取新追加的数据，非常适合于处理实时数据流。taildir源可以通过配置文件指定要监控的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值