Kafka和flume安装和群起

kafka

 解压

tar -zxvf kafka_2.11-2.4.1.tgz  -C /opt/module/

修改名称

mv kafka_2.11-2.4.1/ kafka

更改配置文件

 进入Kafka，创建日志文件

mkdir logs

进入config，修改配置文件

集群脚本

#! /bin/bash

case $1 in
"start"){
    for i in hadoop102 hadoop103 hadoop104
    do
        echo " --------启动 $i Kafka-------"
        ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties"
    done
};;
"stop"){
    for i in hadoop102 hadoop103 hadoop104
    do
        echo " --------停止 $i Kafka-------"
        ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh stop"
    done
};;
esac

 flume

 在/opt/module/flume/conf目录下创建file-flume-kafka.conf文件

#为各组件命名
a1.sources = r1
a1.channels = c1

#描述source
a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /opt/module/applog/log/app.*
a1.sources.r1.positionFile = /opt/module/flume/taildir_position.json
a1.sources.r1.interceptors =  i1
a1.sources.r1.interceptors.i1.type = com.atguigu.flume.interceptor.ETLInterceptor$Builder

#描述channel
a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers = hadoop102:9092,hadoop103:9092
a1.channels.c1.kafka.topic = topic_log
a1.channels.c1.parseAsFlumeEvent = false

#绑定source和channel以及sink和channel的关系
a1.sources.r1.channels = c1

创建拦截器，代码里面有现成的jar包，最开始不知道自己写了一遍，在代码文件夹中的target文件夹里面

后面的安装过程有些枯燥就不写了

    在103中启动flume的时候可能出现出现无法关闭的情况，同时Kafka闪退。这个问题的解决办法下一篇文章发