Linux中安装Kafka(单机版)

1、安装Kafka需要先安装zookeeper

我们这里使用没有使用kafka自带的zookeeper而是使用自己安装的zookeeper
不会安装的请移步到这里

自带的zookeeper启动方法在kafka的安装目录下使用
nohup ./bin/zookeeper-server-start.sh config/zookeeper.properties >> zookeeper.nohup &

2、下载Kafka并解压

官网地址
Kafka和zookeeper有对应关系，可以根据自己zookeeper版本自行选择

wget https://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.13-2.5.0.tgz
tar -xzvf kafka_2.13-2.5.0.tgz
cd kafka_2.13-2.5.0

3、修改配置

第一步：进入到config目录下的server.properties文件

vim config/server.properties

第二步：在num.partitions后新增两行(注意空格)

num.partitions=1
auto.create.topics.enable=true
delete.topic.enable=true

log.dirs = 日志地址 (可以修改一个自己想要的)

第三步：修改运行时占用的内存，默认为1G(内存足够的话可以无视)
  进入到bin目录下的kafka-server-start.sh文件，这里我修改为了256m，太小了也不行

vim bin/kafka-server-start.sh

第四步：启动

只在当前终端启动
./bin/kafka-server-start.sh ./config/server.properties &
在所有终端使用
nohup ./bin/kafka-server-start.sh ./config/server.properties &

第五步：使用jps命令查看结果是否出现kafka

验证是否可以正常使用

创建Topic

创建一个名为test的topic，只有一个副本一个分区

sh bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看已经创建的topic

sh bin/kafka-topics.sh -list -zookeeper localhost:2181

创建一个product

在kafka的安装目录下：

sh bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

创建一个consume

开启一个新的远程窗口，同样在kafka的安装目录下

sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

发送消息

此时在product窗口发送的消息，都可以在consume窗口接收到

删除Topic

需要进入到zookeeper的安装目录下执行

bin/zkCli.sh

然后使用ls /brokers/topics查看当前所有得topic
删除指定的topic

deleteall /brokers/topics/name

• name为上条指令查出来的某一个topic的名字

关闭Kafka

可以直接使用bin目录下的kafka-server-stop.sh 关闭
也可以使用 ps -ef|grep kafka命令找到对应pid直接kill