Flume-采集目录到HDFS

最新推荐文章于 2024-04-01 20:52:32 发布

浮躁-lh

最新推荐文章于 2024-04-01 20:52:32 发布

阅读量996

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/qq_42214376/article/details/104105305

版权

本文介绍了如何使用Flume监控服务器特定目录，当新文件生成时，将其实时采集到HDFS。Flume配置包括source（spooldir，监控目录），sink（HDFS，文件系统）和channel（file channel或内存channel）。启动Flume后，确保上传到监控目录的文件不重复且使用英文名称。

摘要由CSDN通过智能技术生成

需求
某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去
思路
根据需求，首先定义以下3大要素

1. 数据源组件，即source ——监控文件目录 : spooldir

1. 监视一个目录，只要目录中出现新文件，就会采集文件中的内容

2. 采集完成的文件，会被agent自动添加一个后缀：COMPLETED

3. 所监视的目录中不允许重复出现相同文件名的文件

2. 下沉组件，即sink——HDFS文件系统 : hdfs sink

3. 通道组件，即channel——可用ﬁle channel 也可以用内存channel

cd  /usr/flume/conf

mkdir  /usr/dirfile

vim spooldir.conf

#name the components on this agent 
a1.sources = r1 
a1.sinks = k1 
a1.channels = c1 
# Describe/configure the source 

##注意：不能往监控目中重复丢同名文件
a1.sources.r1.type = spooldir           #conf
a1.sources.r1.spoolDir &