Flume实战：实时读取本地文件到HDFS

最新推荐文章于 2024-04-10 16:44:49 发布

大数据基础入门教程

最新推荐文章于 2024-04-10 16:44:49 发布

阅读量514

点赞数 1

文章标签： Flume 大数据大数据开发

本文链接：https://blog.csdn.net/mnbvxiaoxin/article/details/103663375

版权

本文介绍了如何使用Flume实现实时监控并传输本地文件到HDFS的过程，包括创建配置文件flume-hdfs.conf，执行监控配置，以及在监控的文件中添加内容后观察传输结果。

摘要由CSDN通过智能技术生成

1.创建flume-hdfs.conf文件
命令：

cd /opt/module/flume-1.8.0/jobconf

touch flume-hdfs.conf

vi flume-hdfs.conf

添加内容：

# 1 agent
a2.sources = r2
a2.sinks = k2
a2.channels = c2

# 2 source
a2.sources.r2.type = exec
a2.sources.r2.command = tail -F /opt/movle.txt
a2.sources.r2.shell = /bin/bash -c

# 3 sink
a2.sinks.k2.type = hdfs
a2.sinks.k2.hdfs.path = hdfs://hadoop1:9000/flume/%Y%m%d/%H
#上传文件的前缀
a2.sinks.k2.hdfs.filePrefix = logs-
#是否按照时间滚动文件夹
a2.sinks.k2.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k2.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k2.hdfs.roundUnit = hour
#是否使用本地时间戳
a2.sinks.k2.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a2.sinks.k2.hdfs.batchSize = 1000
#设置文件类型，可支持压缩
a2.sinks.k2.hdfs.fileType = DataStream
#多久生成一个新的文件
a2.sinks.k2.hdfs.rollInterval = 600
#设置每个文件的滚动大小
a2.sinks.k2.hdfs.rollSize = 134217700
#文