Kafka 2.5.0单机版CentOS下安装

CentOS安装Kafka 2.5.0单机版

一、环境依赖：

CentOS7，JDK8，kafka_2.13-2.5.0.tgz

二、下载解压kafka

• 获取下载地址（点开具体版本）：
  http://kafka.apache.org/downloads 下载Binary 二进制版本而不是源码

• 在/路径下建立文件夹kafka并进入目录

  [root@localhost /]# mkdir kafka
  [root@localhost /]# cd kafka
  

• 将下载好的kafka_2.13-2.5.0.tgz安装文件拖拽到此路径下，并解压

  [root@localhost kafka]# tar -zxvf kafka_2.13-2.5.0.tgz
  

• 进入解压后的文件夹

  [root@localhost kafka]# cd kafka_2.13-2.5.0
  

三、启动Zookeeper

• kafka需要依赖ZK，安装包中已经自带了一个ZK，也可以改成指定已运行的ZK。

• 如果改成指定的ZK需要修改修改 kafka 安装目录下的 config/server.properties 文件中的zookeeper.connect属性

• 这里使用自带的ZK。

后台启动ZK：

[root@localhost kafka_2.13-2.5.0]# nohup ./bin/zookeeper-server-start.sh config/zookeeper.properties >> zookeeper.nohup &
[1] 4631
[root@localhost kafka_2.13-2.5.0]# nohup: 忽略输入重定向错误到标准输出端

[root@localhost kafka_2.13-2.5.0]# jps
4995 Jps
4631 QuorumPeerMain

• 检查zookeeper是否启动成功：

[root@localhost kafka_2.13-2.5.0]# ps -ef|grep zookeeper

四、启动kafka

4.1、修改相关配置

[root@localhost kafka_2.13-2.5.0]# vim config/server.properties

Broker ID启动以后就不能改了

broker.id=1

取消注释，改成本机IP：

listeners=PLAINTEXT://192.168.237.128:9092

num.partitions后面增加2行。
发送到不存在topic自动创建。允许永久删除topic。

num.partitions=1
auto.create.topics.enable=true
delete.topic.enable=true

4.2、后台启动kafka

[root@localhost kafka_2.13-2.5.0]# nohup ./bin/kafka-server-start.sh ./config/server.properties &
[2] 5137
[root@localhost kafka_2.13-2.5.0]# nohup: 忽略输入并把输出追加到"nohup.out"

[root@localhost kafka_2.13-2.5.0]# jps
5137 Kafka
4631 QuorumPeerMain
5548 Jps

日志存在logs目录下

五、创建Topic

创建

创建一个名为mytest的topic，只有一个副本，一个分区：

[root@localhost kafka_2.13-2.5.0]# sh bin/kafka-console-producer.sh --broker-list 192.168.237.128:9092 --topic mytest

查看

查看已经创建的 topic：

[root@localhost kafka_2.13-2.5.0]# sh bin/kafka-topics.sh -list -zookeeper localhost:2181

六、启动Producer

打开一个窗口，在kafka解压目录下：

[root@localhost kafka_2.13-2.5.0]# sh bin/kafka-console-producer.sh --broker-list 192.168.237.128:9092 --topic mytest

七、启动Consumer

• 在一个新的远程窗口中：

[root@localhost kafka_2.13-2.5.0]# sh bin/kafka-console-consumer.sh --bootstrap-server 192.168.237.128:9092 --topic mytest --from-beginning

八、Producer窗口发送消息

• 发送两条消息hello kafka和this is kafka

[root@localhost kafka_2.13-2.5.0]# sh bin/kafka-console-producer.sh --broker-list 192.168.237.128:9092 --topic mytest
>hello kafka
>this is kafka

九、Consumer窗口接收消息

hello kafka
this is kafka

十、删除kafka全部数据步骤

1. 停止每台机器上的kafka；

2. 删除kafka存储目录

   （config/server.properties文件log.dirs配置，默认为“/tmp/kafka-logs”）全部topic的数据目录；

3. 删除zookeeper上与kafka相关的znode节点；除了/zookeeper；

4. 重启kafka。

十一、常见问题

• vim config/server.properties listeners=PLAINTEXT://192.168.237.128:9092 如用了阿里云的云服务器 发现不管本机IP配置内网IP还是外网IP，外网还是无法访问，可以连接，但是监听不了topic 可以改动为: host.name=阿里云内网IP port=9092 advertised.host.name=阿里云外网IP

• 关闭kafka时提示No kafka server to stop

  [root@localhost kafka_2.13-2.5.0]# ./bin/kafka-server-stop.sh
  No kafka server to stop
  

  [root@localhost bin]# vim kafka-server-stop.sh
  

  可以看到PID为

  PIDS=$(ps ax | grep -i 'kafka\.Kafka' | grep java | grep -v grep | awk '{print $1}')
  

  将PID改为

  PIDS=$(jps -lm | grep -i 'kafka.Kafka'| awk '{print $1}')
  

  再执行关闭命令即可。

• 关闭Zookeeper时提示No zookeeper server to stop

  在关闭kafka自带的zk时，报如下错误，jps里一直有zk进行

  [root@localhost bin]# ./zookeeper-server-stop.sh 
  No zookeeper server to stop
  [root@localhost kafka_2.13-2.5.0]# jps
  4631 QuorumPeerMain
  12445 Jps
  

  输入jps -m命令时终于发现了这个QuorumPeerMain线程的来源

  也可直接kill掉

  kill 9 4631
  

• ZooViewer连接不上CentOS中的ZK服务

  关闭Centos的防火墙

  #关闭命令
  service firewalld stop
  chkconfig firewalld off