Flume source类型和使用案例（exec，spoodir，Taildir）

---

exec

定义

exec是Flume中的一种Source组件，用于执行用户配置的Unix命令，并从命令的标准输出中采集数据。

功能

exec Source能够持续监控命令的输出，并将输出数据转换为Flume的Event格式，然后通过Channel传递给Sink进行处理。

配置文件

配置参数

exec-logger.conf

# Name the components on this agent
# a1--agent
# all source of a1
a1.sources = r1
# all sinks of a1
a1.sinks = k1
# all channels of a1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
# 持续追踪/root/log.txt文件的新增内容
a1.sources.r1.command = tail -F /root/log.txt
# 使用Bash shell执行命令
a1.sources.r1.shell = /bin/bash -c
# 每次批量处理3个事件
a1.sources.r1.batchsize=3
# 如果5秒内没有足够的事件达到batchsize，则触发批次处理（等待时长）
a1.sources.r1.batchTimeout = 5000

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

执行脚本

flume-ng agent --conf ./ --name a1 --conf-file exec-logger.conf

–conf 指定了 Flume 配置文件的目录。
–name 指定了 agent 的名称，这里为 a1。
–conf-file 指定了 agent 的具体配置文件，这里为 exec-logger.conf。

效果

红框为原有的内容
使用vi语句新增内容“wunaiieq”后输出如下（全部显示）

使用echo在文件后增加内容“new line”，结果仅增加新的一行

spooldir

定义

监控指定目录（spool directory）下新产生的文件，并读取这些文件的内容。

功能

持续监控指定目录（spool directory）下新产生的文件。
能够递归地检查目录及其子目录中的所有文件（具体取决于 Flume 的版本和配置）。
当检测到新文件时，自动读取文件内容。

配置文件

配置参数

spooldir-logger.conf

# Name the components on this agent
# a1--agent
# all source of a1
a1.sources = r1
# all sinks of a1
a1.sinks = k1
# all channels of a1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = spooldir
# 监控目录（spooldir）
a1.sources.r1.spoolDir = /opt/module/jar/test
# 文件后缀（fileSuffix）
a1.sources.r1.fileSuffix= .wunaiieq
# 忽略模式（ignorePattern）
a1.sources.r1.ignorePattern=([^ ]*\.tmp)
# 文件头（fileHeader）：true，表示在事件头中添加文件的绝对路径。
a1.sources.r1.fileHeader = true

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

执行脚本

flume-ng agent --conf ./ --name a1 --conf-file spooldir-logger.conf

效果

创建文件20240216.txt，写入aa
结果如下
xftp文件显示

输出日志

说明

spooldir主要用途是处理文本文件或可以逐行读取的文件类型。其他文件如.jar什么的不可以，产生如下的报错

2024-12-06 09:33:03,486 ERROR source.SpoolDirectorySource: FATAL: Spool Directory source r1: { spoolDir: /opt/module/jar/test }: Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing.
java.nio.charset.MalformedInputException: Input length = 1
at java.nio.charset.CoderResult.throwException(CoderResult.java:281)
at org.apache.flume.serialization.ResettableFileInputStream.readChar(ResettableFileInputStream.java:283)
at org.apache.flume.serialization.LineDeserializer.readLine(LineDeserializer.java:132)
at org.apache.flume.serialization.LineDeserializer.readEvent(LineDeserializer.java:70)
at org.apache.flume.serialization.LineDeserializer.readEvents(LineDeserializer.java:89)
at org.apache.flume.client.avro.ReliableSpoolingFileEventReader.readDeserializerEvents(ReliableSpoolingFileEventReader.java:403)
at org.apache.flume.client.avro.ReliableSpoolingFileEventReader.readEvents(ReliableSpoolingFileEventReader.java:378)
at org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirectorySource.java:263)atjava.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:180)atjava.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:294)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)

Taildir

定义

用于实时监控目录下的文件变化，并将这些文件的内容作为数据源发送到Flume的Channel中供后续处理或转发。

功能

能够实时监控指定目录下的文件变化，包括新文件的创建、现有文件的修改等。
它支持多种格式的日志文件，如*.log，并且兼容多种编码方式，非常适合用于系统和应用日志的实时采集和分析。
Taildir Source支持断点续传功能，即使Flume重启，它也能从上次读取的位置继续采集数据，确保数据不丢失。
Taildir Source支持多线程异步处理，能够显著提高并发性能，确保在高负载情况下也能稳定工作。
…

配置文件

配置参数

taildir-logger.conf

# a1--agent
# all source of a1
a1.sources = r1
# all sinks of a1
a1.sinks = k1
# all channels of a1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = taildir
#  指定源要监控的文件组为fg1和fg2。
a1.sources.r1.filegroups = fg1 fg2
# 定义文件组fg1包含/opt/module/jar/目录下所有以.txt结尾的文件。
a1.sources.r1.filegroups.fg1 = /opt/module/jar/.*\.txt
# 定义文件组fg2包含/opt/module/jar/目录下所有以.conf结尾的文件。
a1.sources.r1.filegroups.fg2 = /opt/module/jar/.*\.log
# 指定记录文件读取位置的文件路径，用于在agent重启时能够从上次读取的位置继续读取。
a1.sources.r1.positionFile = /opt/module/flume/jobs/taildir/taildir.json

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

执行脚本

flume-ng agent --conf ./ --name a1 --conf-file taildir-logger.conf

说明

a1.sources.r1.positionFile = /opt/module/flume/jobs/taildir/taildir.json

这里的json文件可以说是运行时的日志文件，断点后读取文件，记录变动情况