Kafka简介
Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。它和flume类似,它的优点是broker处理书记的方法多样灵活,缺点是接口没有flume的接口丰富。
Consumer端同一个group的consumer不能同时消费Broker端同一个partition的数据。
Kafka的安装
1)在66服务器下载kafka安装包,并解压缩
wget https://mirrors.bfsu.edu.cn/apache/kafka/2.8.0/kafka_2.13-2.8.0.tgz
r
tar -xzvf kafka_2.13-2.8.0.tgz
2)配置server.preperties文件
vi /home/user/kafka/config/server.properties
[user@NewBieMaster config]$ cat /home/user/kafka/config/server.properties | grep -Ei "broker.id|delete.top|zookeeper.connect"
broker.id=0
delete.topic.enable=true
# Zookeeper connection string (see zookeeper docs for details).
zookeeper.connect=192.168.1.66:2181,192.168.1.88:2181,192.168.1.99:2181
zookeeper.connection.timeout.ms=18000
[user@NewBieMaster config]$
3)将配置后的flume包,从66服务器分发到88和99服务器,然后将88服务器的broker.id修改为1,将99服务器的broker.id修改为2。
4)在66,88,和99服务器上启动kafka。
kafka-server-start.sh $KAFKA_HOME/config/server.properties &
关闭的方法是在所有执行下面的脚本
kafka-server-stop.sh stop