CentOS安装kafka 2.5.0单机版

以安装路径为 /usr/local/soft为例

JDK依赖

CentOS7卸载openJDK安装JDK1.8

下载解压kafka

获取下载地址（点开具体版本）：
http://kafka.apache.org/downloads

下载Binary 二进制版本而不是源码

复制链接：

cd /usr/local/soft
wget https://archive.apache.org/dist/kafka/2.5.0/kafka_2.13-2.5.0.tgz
tar -xzvf kafka_2.13-2.5.0.tgz
cd kafka_2.13-2.5.0

进入解压后的文件夹

[root@localhost kafka]# cd kafka_2.13-2.5.0

启动zookeeper

kafka需要依赖ZK，安装包中已经自带了一个ZK，也可以改成指定已运行的ZK。
如果改成指定的ZK需要修改修改 kafka 安装目录下的 config/server.properties 文件中的 zookeeper.connect 。这里使用自带的ZK。

后台启动ZK：

[root@localhost kafka_2.13-2.5.0]# nohup ./bin/zookeeper-server-start.sh config/zookeeper.properties >> zookeeper.nohup 
[root@localhost kafka_2.13-2.5.0]# nohup: 忽略输入重定向错误到标准输出端
[root@localhost kafka_2.13-2.5.0]# jps
4995 Jps
4631 QuorumPeerMain

• 检查zookeeper是否启动成功：

[root@localhost kafka_2.13-2.5.0]# ps -ef|grep zookeeper

启动kafka

修改相关配置

[root@localhost kafka_2.13-2.5.0]# vim config/server.properties

Broker ID启动以后就不能改了

broker.id=1

取消注释，改成本机IP：

listeners=PLAINTEXT://192.168.3.160:9092

num.partitions后面增加2行。
发送到不存在topic自动创建。允许永久删除topic。

num.partitions=1
auto.create.topics.enable=true
delete.topic.enable=true

后台启动kafka（kafka安装目录下）：

[root@localhost kafka_2.13-2.5.0]# nohup ./bin/kafka-server-start.sh ./config/server.properties & 
[root@localhost kafka_2.13-2.5.0]# nohup: 忽略输入并把输出追加到"nohup.out"
[root@localhost kafka_2.13-2.5.0]# jps
5137 Kafka
4631 QuorumPeerMain
5548 Jps

日志在logs目录下

创建Topic

创建一个名为gptest的topic，只有一个副本，一个分区：

sh bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic gptest

查看已经创建的 topic：

sh bin/kafka-topics.sh -list -zookeeper localhost:2181

启动Producer

打开一个窗口，在kafka解压目录下：

sh bin/kafka-console-producer.sh --broker-list 192.168.3.160:9092 --topic gptest

启动Consumer

在一个新的远程窗口中：

sh bin/kafka-console-consumer.sh --bootstrap-server 192.168.3.160:9092 --topic gptest --from-beginning

Producer窗口发送消息

 删除kafka全部数据步骤：
1、停止每台机器上的kafka；
2、删除kafka存储目录（server.properties文件log.dirs配置，默认为“/tmp/kafka-logs”）全部topic的数据目录；
3、删除zookeeper上与kafka相关的znode节点；除了/zookeeper
4、重启kafka。

设置开机自启

1.在 /lib/systemd/system/ 目录下创建 zookeeper服务和kafka服务 的配置文件

# vim zookeeper.service

zookeeper.service 添加内容：

[Unit]
Description=Zookeeper service
After=network.target
 
[Service]
Type=simple
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:"
User=root
Group=root
ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh
Restart=on-failure
 
[Install]
WantedBy=multi-user.target

# vim kafka.service

kafka.service 添加内容：

[Unit]
Description=Apache Kafka server (broker)
After=network.target zookeeper.service
 
[Service]
Type=simple
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:"
User=root
Group=root
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh
Restart=on-failure
 
[Install]
WantedBy=multi-user.target

注：以上两个文件 根据自己的 jdk 和 kafka 安装目录相应的修改。

2.刷新配置

# systemctl daemon-reload

3. zookeeper、kafka服务加入开机自启。

#systemctl enable zookeeper

#systemctl enable kafka

4. 使用systemctl启动/关闭/重启 zookeeper、kafka服务systemctl start/stop/restart zookeeper/kafka。

注：启动kafka前必须先启动zookeeper 。

# systemctl start zookeeper

# systemctl start kafka

5. 查看状态。

# systemctl status zookeeper

 # systemctl status kafka