Flume的TaildirSource配置路径匹配滚动时间（修改源码）

Flume的TaildirSource配置路径匹配滚动时间（修改源码）

一、背景

最近有个需求，要用flume读取腾讯云CDN的日志，由于日志是运维同学直接挂在到本地服务器上的，每次访问目录下的文件都相当于要与腾讯云之间有个交互，会产生大量的访问量，似乎这部分要收费的，所有要尽可能地少访问。
日志路径如下

/data/cos_dir/tencentcdnlog/2022/04/02/15

目录是按照时间实时滚动增加的，也就是说16点时02目录下会多一个16的文件夹，16文件夹里会放有那些日志文件
需求：现在要按时间每小时读取对应文件夹下的文件
原本用的采集工具是fluentd，它的采集配置本身支持滚动的时间但现在要用flume了，flume本身是不支持父目录里有通配符的，所以我们需要改下源码
fluentd配置如下

<source>
@type tail
path /data/cos_dir/tencentcdnlog/%Y/%m/%d/%H/*
pos_file /home/john/logs/td-agent/john_cdn_log.log.pos
tag john_cdn_log.bar
read_from_head true
enable_watch_timer false
<parse>
@type none
</parse>
</source>

<match john_cdn_log.bar>
@type kafka_buffered

# list of seed brokers
brokers xxx.xxx.xxx.xxx:9092,xxx.xxx.xxx.xxx:9092,xxx.xxx.xxx.xxx:9092

# buffer settings
buffer_type file
buffer_path /home/john/logs/td-agent/buffer/john_cdn_log/td
buffer_chunk_limit 256m
buffer_queue_limit 64
# 拉取频率
flush_interval 1s
num_threads 2

# topic settings
default_topic john_cdn_log_input

# data type settings
output_data_type attr:message
compression_codec gzip

# producer settings
max_send_retries 1
kafka_agg_max_bytes 1000000
</match>

二、正片（修改TaildirSource源码）

修改完源码后有如下功能：
a、支持带时间通配符的目录
b、支持配置初始化时自动创建不存在的父目录

1、下载源码

本次修改的是1.9版本
官网下载源码包

https://www.apache.org/dyn/closer.lua/flume/1.9.0/apache-flume-1.9.0-src.tar.gz

git上下也行

https://github.com/apache/flume

找到taildirSource对应位置

2、分析源码

TaildirSource.java

start()方法，主要做三件事，一、开启一个ReliableTaildirEventReader事件监听者，二、开启个线程去校验文件什么时候关闭，三、开启一个线程去维护position位置文件。
configure(Context context)
负责装载配置文件

process()
负责与channel的交互，把读取到的文件给channel

ReliableTaildirEventReader.java

看构造方法
会在这里创建TaildirMatcher对象，每个父路径一个对象，待会我们重点改它

看updateTailFiles(boolean skipToEnd)方法
这个方法很重要，会遍历每个TaildirMatcher（一个TM相当于一个父目录），更新下面的文件信息

TaildirSource中的process也会调用它

TaildirMatcher.java

看构造方法
这里，每个TaildirMatcher都会保存一个对应的父目录信息，我们要改的也主要是这里

这还有个getMatchingFiles()用来更新文件

3、修改源码

TaildirMatcher.java

主要是在创建TaildirMatcher时，把输入的路径中含有的时间通配符换成了当前时间对应的准确值，由于TaildirMathcer会在一开始判断下配置中给定的文件路径的父目录是否存在，若不存在会报错，而我测试中用的时间目录是精确到分钟的，所以为了我每次启动时不报错，就在配置中加了个配置，让它一开始检测到父目录不存在时可以自动创建父目录