Flume实现日志文件夹数据加载到HDFS

最新推荐文章于 2023-12-22 16:56:40 发布

Vivianieor

最新推荐文章于 2023-12-22 16:56:40 发布

阅读量717

点赞数

本文链接：https://blog.csdn.net/h359310652/article/details/78593809

版权

Flume是一个用于收集、聚合和移动大量日志数据的分布式服务，具有简单可伸缩的架构和强大的容错机制。通过配置如`corp_base_info.conf`，设置source从特定文件夹读取数据，使用内存通道存储，并将数据写入HDFS，实现了日志数据的自动化迁移。

摘要由CSDN通过智能技术生成

Flume是一种分布式，可靠和可用的服务，用于高效收集，聚合和移动大量日志数据。它具有基于数据流的简单和可伸缩的架构。它具有可靠性机制和故障切换和恢复机制的鲁棒性和容错能力。
vi corp_base_info.conf

a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir=/home/flume/testdata/test
a1.sources.r1.includePattern=^AUEIC.C_CONS([0-9a-zA-Z]|[._-])*$
a1.sources.r1.ignorePattern=^.*COMPLETED$
a1.sources.r1.inputCharset=UTF-8
a1.sources.r1.pollDelay=300000 #5分针采集一次
加粗的属性1.7以上才有

#Use a channel which buffers events in memory

a1.channels=c1
a1.channels.c1.capacity=1000000
a1.channels.c1.transactionCapacity=1000000
a1.channels.c1.type=memory

#Describe the sink
a1.sinks=k1
a1.sinks.k1.channel=c1
a1.sinks.k1.hdfs.fileType=Da