Flume将日志log文件从本地导入kafka，再从kafka导入HDFS。（以Kafka在两个文件中分别作为Source和Sink）

最新推荐文章于 2023-07-06 19:58:36 发布

Cheengvho

最新推荐文章于 2023-07-06 19:58:36 发布

阅读量1.5k

点赞数 3

本文链接：https://blog.csdn.net/m0_37890482/article/details/81126522

版权

本文介绍了如何使用Flume将日志文件从本地通过Kafka传输到HDFS。配置了两个Flume配置文件，kafka-in.conf作为Source，kafka-out.conf作为Sink。首先启动Zookeeper和Kafka，接着依次启动Flume的配置文件。日志处理完成后，本地文件会自动标记为.COMPLETED，并在HDFS的/loudacre/kafka目录下生成对应文件。

摘要由CSDN通过智能技术生成

kafka-in.conf文件（在/etc/flume-ng/conf文件夹下）

#文件从本地路径到kafka配置文件#
#-----------------------------#
# 指定Agent的组件名称
agent1.sources = file_source
agent1.sinks = kafka_sink
agent1.channels = mem_channel

#-------file_source(要监听的路径)---------
agent1.sources.file_source.type = spooldir
agent1.sources.file_source.spoolDir = /flume/kafka_logs

#------------kafka_sink--------------------
#agent1.sinks.kafka_sink.type = logger
agent1.sinks.kafka_sink.type = org.apache.flume.sink.kafka.KafkaSink
agent1.sinks.kafka_sink.topic = access
agent1.sinks.kafka_sink.brokerList = localhost:9092
agent1.sinks.kafka_sink.requiredAcks = 1
agent1.sinks.kafka_sink.batchSize = 1000

#-------------mem_channel-------------------
agent1.channels.mem_channel.type = memory
agent1.channels.mem_channel.capacity = 1000
agent1.channels.mem_channel.transactionCapacity = 100

#------------------------------------------
agent1.sourc