kafka
解压
tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/
修改名称
mv kafka_2.11-2.4.1/ kafka
更改配置文件
进入Kafka,创建日志文件
mkdir logs
进入config,修改配置文件
集群脚本
#! /bin/bash
case $1 in
"start"){
for i in hadoop102 hadoop103 hadoop104
do
echo " --------启动 $i Kafka-------"
ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties"
done
};;
"stop"){
for i in hadoop102 hadoop103 hadoop104
do
echo " --------停止 $i Kafka-------"
ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh stop"
done
};;
esac
flume
在/opt/module/flume/conf目录下创建file-flume-kafka.conf文件
#为各组件命名
a1.sources = r1
a1.channels = c1
#描述source
a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /opt/module/applog/log/app.*
a1.sources.r1.positionFile = /opt/module/flume/taildir_position.json
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = com.atguigu.flume.interceptor.ETLInterceptor$Builder
#描述channel
a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers = hadoop102:9092,hadoop103:9092
a1.channels.c1.kafka.topic = topic_log
a1.channels.c1.parseAsFlumeEvent = false
#绑定source和channel以及sink和channel的关系
a1.sources.r1.channels = c1
创建拦截器,代码里面有现成的jar包,最开始不知道自己写了一遍,在代码文件夹中的target文件夹里面
后面的安装过程有些枯燥就不写了
在103中启动flume的时候可能出现出现无法关闭的情况,同时Kafka闪退。这个问题的解决办法下一篇文章发