Flume的简单案例二读取本地文件

最新推荐文章于 2024-01-08 16:10:21 发布

hailunw

最新推荐文章于 2024-01-08 16:10:21 发布

阅读量854

点赞数

分类专栏： # 大数据数据采集 # 数据仓库理论文章标签： flume 大数据数据仓库

本文链接：https://blog.csdn.net/hailunw/article/details/117813396

版权

数据仓库理论同时被 2 个专栏收录

23 篇文章 1 订阅

订阅专栏

大数据数据采集

6 篇文章 0 订阅

订阅专栏

本文详细介绍了如何使用Flume创建一个Agent，配置执行文件tail-F监听/tmp/input.txt，展示了从文件写入到日志记录的整个过程。重点在于源（source）、通道（channel）和sink（sink）的设置。

摘要由CSDN通过智能技术生成

1）创建Flume Agent配置文件 flume-file-logger.conf

2）在配置文件中添加以下内容参照https://flume.apache.org/FlumeUserGuide

# example.conf: A single-node Flume configuration
 
# Name the components on this agent
a2.sources = r2
a2.sinks = k2
a2.channels = c2
 
# Describe/configure the source
a2.sources.r2.type = exec
a2.sources.r2.command = tail -F /tmp/input.txt
a2.sources.r2.shell = /bin/bash -c
 
# Describe the sink
a2.sinks.k2.type = logger
 
# Use a channel which buffers events in memory
a2.channels.c2.type = memory
a2.channels.c2.capacity = 1000
a2.channels.c2.transactionCapacity = 100
 
# Bind the source and sink to the channel
a2.sources.r2.channels = c2
a2.sinks.k2.channel = c2

3) Flume启动agent a2，然后往文件 /tmp/input.txt file中添加内容。我们可以看到消息传了过来。