Centos7 Kafka安装与配置

1.首先安装jdk、zookeeper
2.安装kafaka
下载地址
https://pan.baidu.com/s/1Qj3GFxCFKhfiKYnrE_AYwA
提取码
l2qj
3.上传安装包值centos7并解压
切换至/usr/local/src/kafka_2.13-2.7.0/config
vim server.properties
在############################# Socket Server Settings #############################添加
port = 9092
host.name=localhost
4.启动
1）切换至/usr/local/src/kafka_2.13-2.7.0/bin目录，执行
./kafka-server-start.sh -daemon /usr/local/src/kafka_2.13-2.7.0/config/server.properties
启动kafka。
2）创建测试主题
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
出现 Created topic test.说明创建成功。
3）监听测试主题
./kafka-topics.sh --list --zookeeper localhost:2181
出现test说明监听成功
4）创建生产者
./kafka-console-producer.sh --broker-list localhost:9092 --topic test
>hello
>world
>test
>over
每创建一个主题回车，Ctrl+c退出
5）创建消费者
./kafka-console-consumer.sh --bootstrap-server localhos092 --topic test --from-beginning
出现下列值，则说明消费成功
hello
world
test
over

集群部署（单机多点broker）：
1.将conf目录下的配置文件复制两份。使用server-1 server-2 server-3进行集群。
修改server-1 server-2 server-3的配置文件

 vim config/server-1.properties
#修改内容
broker.id=1
listeners=PLAINTEXT://localhost:9092
log.dirs=/data/kafka-logs-1

vim config/server-2.properties
#修改内容
broker.id=2
listeners=PLAINTEXT://localhost:9093
log.dirs=/data/kafka-logs-2

vim config/server-3.properties
#修改内容
broker.id=3
listeners=PLAINTEXT://localhost:9094
log.dirs=/data/kafka-logs-3

2.根据不同的配置文件server-1 server-2 server-3 启动多个kafka服务。
3.创建测试消息
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic test1
factor：指的使我们副本的数量，对应三个broker
查看topic使用：./kafka-topics.sh --list --zookeeper localhost:2181
查看详细信息：./kafka-topics.sh --describe --zookeeper localhost:2181 ,此时的leader:主的broker ，replicas:代表副本对应的broker id 号, Isr:代表活着的broker
4.创建消息生产者
命令：./kafka-console-producer.sh --broker-list localhost:9092,localhost:9093,localhost:9094 --topic test1
5.创建消息消费者
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mytest1 --from-beginning