Kafka简介及安装

Kafka简介

Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。它和flume类似，它的优点是broker处理书记的方法多样灵活，缺点是接口没有flume的接口丰富。

Consumer端同一个group的consumer不能同时消费Broker端同一个partition的数据。

Kafka的安装

1）在66服务器下载kafka安装包，并解压缩

wget https://mirrors.bfsu.edu.cn/apache/kafka/2.8.0/kafka_2.13-2.8.0.tgz
r
tar -xzvf kafka_2.13-2.8.0.tgz

2）配置server.preperties文件

vi /home/user/kafka/config/server.properties

[user@NewBieMaster config]$ cat /home/user/kafka/config/server.properties | grep -Ei "broker.id|delete.top|zookeeper.connect"
broker.id=0
delete.topic.enable=true
# Zookeeper connection string (see zookeeper docs for details).
zookeeper.connect=192.168.1.66:2181,192.168.1.88:2181,192.168.1.99:2181
zookeeper.connection.timeout.ms=18000
[user@NewBieMaster config]$ 

3）将配置后的flume包，从66服务器分发到88和99服务器，然后将88服务器的broker.id修改为1，将99服务器的broker.id修改为2。

4）在66,88，和99服务器上启动kafka。

kafka-server-start.sh $KAFKA_HOME/config/server.properties &

关闭的方法是在所有执行下面的脚本
kafka-server-stop.sh stop