在CentOS 7中安装kafka详细步骤

在CentOS 7中安装kafka详细步骤

一、 安装JDK

如jdk未安装，请参考以下连接：
jdk安装:http://tencent.yundashi168.com/814.html

ps: jdk-8u221-linux-x64
提取码：ywuc

二、 下载kafka和zookeeper

- 下载方式：

1. kafka官网

2. 百度云网盘下载

   kafka_2.12-1.1.0
   提取码：53j4

   zookeeper-3.4.12
   提取码：244b

三、安装

1. 解压安装kafka（我的安装目录/soft/kafka）

#解压
tar -zvxf kafka_2.12-1.1.0.tgz
#将解压后的文件夹移动到/soft 下
mv kafka_2.12-1.1.0.tgz /soft
#修改文件夹名称
mv kafka_2.12-1.1.0.tgz kafka

2. 配置kafka

#进入配置文件夹
cd /soft/kakfa/config

#修改配置文件
vi server.properties

broker.id=0
port=9092                                                #端口号
host.name=172.30.200.98                      #服务器IP地址，修改为自己的服务器IP
log.dirs=/mnt/soft/kafka_data/log/kafka   #日志存放路径，上面创建的目录
zookeeper.connect=localhost:2181         #zookeeper地址和端口，单机配置部署，localhost:2181
listeners=PLAINTEXT://ip:9092

注：ip指的是本机ip地址

3、解压安装zookeeper(我的安装目录/soft/zookeeper)

#解压
tar -zvxf zookeeper-3.4.12.tar.gz
#将解压后的文件夹移动到/soft 下
mv zookeeper-3.4.12 /soft
#修改文件夹名称
mv zookeeper-3.4.12 zookeeper

4、配置zookeeper

cd /soft/kafka/config

vi zookeeper.properties

#添加一条配置
dataDir=/soft/kafka/kafka_data  #zookeeper数据目录
dataLogDir=/softkafka//kafka_data #zookeeper日志目录

四、验证

1. 使用安装包中的脚本启动单节点Zookeeper实例：

cd  /soft/kafka

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

2. 使用kafka-server-start.sh启动kafka服务：

bin/kafka-server-start.sh config/server.properties

3. 使用kafka-topics.sh 创建但分区单副本的topic test

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

4. 使用kafka-console-producer.sh 发送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

五、配置开机自启服务

1. 在 /lib/systemd/system/ 目录下创建 zookeeper服务的配置文件

cd /lib/systemd/system/

vi zookeeper.service

添加以下内容

[Unit]
Description=Zookeeper service
After=network.target

[Service]
Type=simple
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/java/jdk1.8.0_131/bin"
User=root
Group=root
ExecStart=/soft/kafka/bin/zookeeper-server-start.sh /soft/kafka/config/zookeeper.properties
ExecStop=/soft/kafka/bin/zookeeper-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

ps:

/usr/java/jdk1.8.0_131/bin 这里换成自己的jdk安装路径(jdk路径查看命令：$JAVA_HOME)

/soft/kafka 这是kafka安装路径

2. 在 /lib/systemd/system/ 目录下创建和kafka服务的配置文件

[Unit]
Description=Apache Kafka server (broker)
After=network.target  zookeeper.service

[Service]
Type=simple
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/java/jdk1.8.0_131/bin"
User=root
Group=root
ExecStart=/soft/kafka/bin/kafka-server-start.sh /soft/kafka/config/server.properties
ExecStop=/soft/kafka/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

ps:

/usr/java/jdk1.8.0_131/bin 这里换成自己的jdk安装路径(jdk路径查看命令：$JAVA_HOME)

/soft/kafka 这是kafka安装路径

3. 刷新配置。

systemctl daemon-reload

4. zookeeper、kafka服务加入开机自启。

systemctl enable zookeeper

systemctl enable kafka

5. 使用systemctl启动/关闭/重启 zookeeper、kafka服务systemctl start/stop/restart zookeeper/kafka。

注：启动kafka前必须先启动zookeeper 。

systemctl start zookeeper

 systemctl start kafka

6. 查看状态。

systemctl status zookeeper