Flume安装详解

第一步下载资源
通过一下步骤下载对应的资源

wget http://www.apache.org/dyn/closer.lua/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz

下载完成之后执行解压缩命令

tar -xzf apache-flume-1.7.0-bin.tar.gz

解压完成之后进行重命名操作

mv apache-flume-1.7.0-bin flume

效果如下

第二步检查所需要的环境

先检查Java环境变量

java -version
echo $JAVA_HOME

第三步修改Flume配置文件

修改配置文件夹首先要进入到配置文件路径下，创建一个配置文件，在启动Flume的时候进行加载对应的配置文件即可

/home/gadmin/software/flume/conf

[gadmin@KVM-10-58-166-165 conf]$ cat flume.conf 
# 指定Agent的组件名称
agent.sources = log_source
agent.sinks = kafka_sink
agent.channels = mem_channel

# 指定Flume source(要监听的路径)
agent.sources.log_source.type = spooldir
agent.sources.log_source.spoolDir = /app/archcloud/web-business-haiyan-server/applog

# 指定Kafka sink
#agent.sinks.kafka_sink.type = logger
agent.sinks.kafka_sink.type = org.apache.flume.sink.kafka.KafkaSink
agent.sinks.kafka_sink.topic = access
agent.sinks.kafka_sink.brokerList = localhost:9092
agent.sinks.kafka_sink.requiredAcks = 1
agent.sinks.kafka_sink.batchSize = 1000

#mem_ channel
agent.channels.mem_channel.type = memory
agent.channels.mem_channel.capacity = 1000
agent.channels.mem_channel.transactionCapacity = 100

# 绑定source和sink到channel上
agent.sources.file_source.channels = mem_channel
agent.sinks.kafka_sink.channel = mem_channel

第四步启动并且加载配置文件
进入到bin目录下

执行下面命令即可实现启动

flume-ng agent -conf …/conf -conf-file …/conf/flume.conf -name agent -property flume.root.logger=INFO,console