（7）flume7

最新推荐文章于 2022-09-02 15:01:14 发布

佑熙

最新推荐文章于 2022-09-02 15:01:14 发布

阅读量94

点赞数

分类专栏：电商数仓1 文章标签：大数据

本文链接：https://blog.csdn.net/weixin_42871374/article/details/105409047

版权

本文介绍了Apache Flume 1.7.0的安装部署步骤，包括在Linux环境下解压安装包，配置环境变量，创建并编辑flume-env.sh文件。详细讲解了Flume的file-flume-kafka.conf配置，涉及TAILDIR源类型，Kafka Channel以及自定义拦截器。最后，提供了集群启动和停止的日志采集Flume脚本f1.sh。

摘要由CSDN通过智能技术生成

-rw-r–r--. 1 hadoop hadoop 55711670 Oct 18 12:40 apache-flume-1.7.0-bin.tar.gz
2.2 安装部署
1）将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/software目录下
2）解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下
[atguigu@hadoop102 software]$ tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /opt/module/
3）修改apache-flume-1.7.0-bin的名称为flume
[atguigu@hadoop102 module]$ mv apache-flume-1.7.0-bin flume
4）将flume/conf下的flume-env.sh.template文件修改为flume-env.sh，并配置flume-env.sh文件
[atguigu@hadoop102 conf]$ mv flume-env.sh.template flume-env.sh
[atguigu@hadoop102 conf]$ vi flume-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

上传flume-interceptor-1.0-SNAPSHOT.jar
[hadoop@hadoop102 /opt/module/flume/lib]$xsync flume-interceptor-1.0-SNAPSHOT.jar

2）Flume的具体配置如下：
（1）在/opt/module/flume/conf目录下创建file-flume-kafka.conf文件
[atguigu@hadoop102 conf]$ vim file-flume-kafka.conf
在文件配置如下内容
a1.sources=r1
a1.channels=c1 c2

configure source

a1.sources.r1.type = TAILDIR
a1.sources.r1.positionFile = /opt/module/flume/test/log_position.json
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /tmp/logs/app.+
a1.sources.r1.fileHeader = true
a1.sources.r1.channels = c1 c2

#interceptor
a1.sources.r1.interceptors = i1 i2
a1.sources.r1.interceptors.i1.type = com.atguigu.flume.interceptor.LogETLInterceptor