搭建一套大数据框架——flume篇

谁能凭爱意将富士山私有丶

已于 2024-09-29 11:23:36 修改

阅读量88

点赞数

文章标签：大数据 flume

于 2024-09-29 11:15:36 首次发布

本文链接：https://blog.csdn.net/qq_18138507/article/details/142631249

版权

1、解压压缩包

tar -zxvf apache-flume-1.11.0-bin.tar  -C  /portal/

2、创建软连接

ln -s apache-flume-1.11.0-bin flume

3、配置环境

export FLUME_HOME=/portal/flume
export PATH=$PATH:$FLUME_HOME/bin

4、配置运行大小

cd /portal/flume/conf
cp flume-env.sh.template flume-env.sh
vim flume-env.sh
export JAVA_OPTS="-Xms512m -Xmx1024m -Dcom.sum.management.jmxremote"

5、配置agent

mkdir /opt/flume
cd /opt/flume/conf
vim conf-json-www.properties


wwwjson.sources=sourcewww
wwwjson.channels=channelwww
wwwjson.sinks=sinkwww
#数据源，使用taildir采集文件中增量写入的内容
wwwjson.sources.sourcewww.type=taildir
#记录当前采集的位置，防止重启后丢失记录
#wwwjson.sources.sourcewww.positionFile=/portal/flume/taildir_position/www-nginx.json
wwwjson.sources.sourcewww.positionFile=/opt/flume/taildir_position/www-nginx.json

# 配置 filegroups 以包含 prod4-access.log 和 prod6-access.log 文件
wwwjson.sources.sourcewww.filegroups=file_group1 file_group2
# 指定数据源文件路径，支持通配符
wwwjson.sources.sourcewww.filegroups.file_group1=/data/logs/nginx/www-nginx/prod4-access.log
wwwjson.sources.sourcewww.filegroups.file_group2=/data/logs/nginx/www-nginx/prod6-access.log
wwwjson.sources.sourcewww.fileHeader=true
wwwjson.sources.sourcewww.channels=channelwww
wwwjson.sources.sourcewww.batchSize=3000

#管道设置，使用file类型可以持久化保存管道中未处理的事件，防止flume停用时未处理的事件丢失
wwwjson.channels.channelwww.type=file
wwwjson.channels.channelwww.capacity=100000
wwwjson.channels.channelwww.transactionCapacity=30000
#wwwjson.channels.channelwww.checkpointDir=/portal/flume/checkpoint/www-nginx/
#wwwjson.channels.channelwww.dataDirs=/portal/flume/data/www-nginx/
wwwjson.channels.channelwww.checkpointDir=/opt/flume/checkpoint/www-nginx/
wwwjson.channels.channelwww.dataDirs=/opt/flume/data/www-nginx/

wwwjson.channels.channelwww.keep-alive=30

# 结果发送至kafka配置
wwwjson.sinks.sinkwww.type = org.apache.flume.sink.kafka.KafkaSink
wwwjson.sinks.sinkwww.kafka.bootstrap.servers = 192.168.1.41:9092,192.168.1.42:9092,192.168.1.43:9092,192.168.1.44:9092
wwwjson.sinks.sinkwww.kafka.topic = topic-www-nginx-log
wwwjson.sinks.sinkwww.kafka.flumeBatchSize = 30000
wwwjson.sinks.sinkwww.kafka.producer.acks = 1
wwwjson.sinks.sinkwww.kafka.producer.linger.ms = 1
wwwjson.sinks.sinkwww.channel=channelwww

6、启动flume

##启动方式一
flume-ng agent -n wwwjson -c /portal/flume/conf/ -f /opt/flume/conf-json-www.properties &
##启动方式二
（推荐）
nohup flume-ng agent -n wwwjson -c /portal/flume/conf/ -f /opt/flume/conf-json-www.properties > /data/logs/flume/flume.log 2>&1 &