kafka集群搭建，kafka基本操作（附安装包下载地址）

Kafka集群搭建

Kafka安装包官方下载地址：

http://kafka.apache.org/downloads.html

Kafka本实验包下载地址：

链接：https://pan.baidu.com/s/1CMF_neXeVF7uQYFW98m3Lw

提取码：dzuw

（基于zookeeper，zookeeper搭建见前文）

1、解压：

(安装包位于/soft下)

[root@master ~]#  cd /soft/
[root@master soft]# tar -xzvf kafka_2.11-2.0.0.tgz 

 

2、创建软链接

[root@master soft]# ln -s kafka_2.11-2.0.0/ /soft/kafka

 

3、编辑配置文件server.properties

[root@master soft]# cd kafka/config/
[root@master config]# vi server.properties 

主要修改如下配置

broker.id=0

log.dirs=/soft/kafka/log

zookeeper.connect=192.168.110.11:2181,192.168.110.12:2181.192.168.110.13:2181

4、创建log文件夹

[root@master config]# cd /soft/kafka
[root@master kafka]# mkdir log

 

5、传配置到其他机器

[root@master config]# scp -r /soft/kafka/ root@slave1:/soft/
[root@master config]# scp -r /soft/kafka/ root@slave2:/soft/

 

6、修改其他机器配置（slave1、slave2）

同步骤三，修改server.properties文件的broker.id分别为1和2 

 

7、启动（需要先进入kafka安装目录）

[root@master /]# cd /soft/kafka #进入kafka安装目录
[root@master kafka]# ./bin/kafka-server-start.sh config/server.properties # 启动-常规模式
[root@master kafka]# nohup ./bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 & # 启动-守护进程模式

 

8、查看进程

[root@master ~]# jps

（有kafka就代表成功）

 

9、关闭

（进入kafka安装目录）

[root@master kafka]# ./bin/kafka-server-stop.sh // 关闭

 

10、kafka基本操作

// 创建topic

sh kafka-topics.sh --create --zookeeper 192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181 --replication-factor 1 --partitions 3 --topic test

 

// 查询topic list

sh kafka-topics.sh --zookeeper 192.168.110.11:2181,192.168.110.12:2181,192.168.110.13:2181 --list

 

// 查询某topic详情

sh kafka-topics.sh --zookeeper 192.168.110.11:8081,192.168.110.11:8082,192.168.110.11:8083 --describe --topic test

 

// 模拟客户端生产

bin/kafka-console-producer.sh --broker-list 192.168.110.11:2181,192.168.110.12:2181,192.168.110.13:2181 --topic test

 

// 模拟客户端订阅

sh kafka-console-consumer.sh --zookeeper 192.168.110.11:2181,192.168.110.12:2181,192.168.110.13:2181 --topic test --from-beginning

 

// 删除topic

sh kafka-topics.sh --delete --zookeeper 192.168.110.11:2181,192.168.110.12:2181,192.168.110.13:2181 --topic test