CentOS7.5 环境下 Kafka 安装

CentOS 环境下 Kafka 安装

1.Kafka 2.3.0 单机版安装

1.1.下载解压 Kafka

获取下载地址（点开具体版本）：http://kafka.apache.org/downloads
下载Binary 二进制版本而不是源码。
复制链接：https://archive.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz

cd /usr/app/kafka
wget https://archive.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz
tar -xzvf kafka_2.12-2.3.0.tgz
cd kafka_2.12-2.3.0

1.2.启动zookeeper

Kafka需要依赖ZK，安装包中已经自带了一个ZK，也可以改成指定已运行的ZK。
如果改成指定的ZK需要修改修改 kafka 安装目录下的 config/server.properties 文件中的 zookeeper.connect 。这里使用自带的ZK。

后台启动ZK：

nohup ./bin/zookeeper-server-start.sh config/zookeeper.properties >> zookeeper.nohup &

检查zookeeper是否启动成功：

ps -ef | grep zookeeper

关闭ZK：

./bin/zookeeper-server-stop.sh config/zookeeper.properties

1.3.启动Kafka

修改相关配置

vim config/server.properties

Broker ID启动以后就不能改了

# 默认id为0，这里是单机版就不用更改了。
broker.id=0

取消注释，改成本机IP：

listeners=PLAINTEXT://192.168.235.102:9092

num.partitions后面增加2行。发送到不存在topic自动创建。允许永久删除topic。

num.partitions=1
auto.create.topics.enable=true
delete.topic.enable=true

后台启动kafka（kafka安装目录下）：

nohup ./bin/kafka-server-start.sh ./config/server.properties & 

关闭kafka

./bin/kafka-server-stop.sh ./config/server.properties
## jobs 用于查看 nohup 命令后台启动服务
jobs

日志在logs目录下
检查kafka是否启动成功：

ps -ef | grep kafka

关于内存不够的解决办法？
zk 启动时默认的内容大小为 512M，Kafka启动时默认的内容大小为1G。
1、调整zk的内存，修改bin目录下的 zookeeper-server-start.sh，将初始堆的大小(-Xms)设置小一些

vim zookeeper-server-start.sh
# 调整结果为最大值 384m,初始启动大小为128m
export KAFKA_HEAP_OPTS="-Xmx384M -Xms128M"

2、修改bin目录下的kafka-server-start.sh文件，将初始堆的大小(-Xms)设置小一些

vim kafka-server-start.sh
# 调整结果为最大值 512m,初始启动大小为128m
export KAFKA_HEAP_OPTS="-Xmx512M -Xms128M"

防火墙配置：

# 添加开放端口
firewall-cmd --add-port=2181/tcp --permanent
firewall-cmd --add-port=9092/tcp --permanent
# 重启防火墙
firewall-cmd --reload
# 查看开放端口列表
firewall-cmd --list-port

1.4.单机kafka使用

1.4.1.创建Topic

创建一个名为gptest的topic，只有一个副本，一个分区：

sh bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic gptest

查看已经创建的 topic：

sh bin/kafka-topics.sh -list -zookeeper localhost:2181

1.4.2.启动Producer

打开一个窗口，在kafka解压目录下：

## 注意这里ip为 server.properties 中配置本机ip
sh bin/kafka-console-producer.sh --broker-list 192.168.235.102:9092 --topic gptest

1.4.3. 启动Consumer

在一个新的远程窗口中：

## 注意这里ip为 server.properties 中配置本机ip
sh bin/kafka-console-consumer.sh --bootstrap-server 192.168.235.102:9092 --topic gptest --from-beginning

1.4.4.Producer窗口发送消息

输入hello world 回车，显示内容如示。

[root@bogon kafka_2.12-2.3.0]# sh bin/kafka-console-producer.sh --broker-list 192.168.235.102:9092 --topic gptest
>hello world
>

消费者收到了消息，显示内容如示。

[root@192 kafka_2.12-2.3.0]# sh bin/kafka-console-consumer.sh --bootstrap-server 192.168.235.102:9092 --topic gptest --from-beginning
hello world

1.5.删除kafka数据

删除kafka全部数据步骤：

• 1、停止每台机器上的kafka；
• 2、删除kafka存储目录（server.properties文件log.dirs配置，默认为“/tmp/kafka-logs”）全部topic的数据目录；
• 3、删除zookeeper上与kafka相关的znode节点；除了/zookeeper。

删除时使用自定义安装的zk。命令行：

## 连接指令参考如示
/usr/app/zookeeper/zookeeper-3.4.14/bin/zkCli.sh -server 127.0.0.1:2181
## 获取所有节点：ls /，删除使用：delete /名字，或者使用：rmr /名字

• 4、重启kafka。

2.Kafka 2.3.0伪集群搭建

2.1.ZK伪集群搭建

搭建地址见博文：zookeeper搭建集群（单机伪集群）
注意：单机的kafka和集群的kafka不要混用一个zk，否则会出现数据混乱的问题。

2.2.配置Kafka伪集群配置文件

首先需要创建一个目录kafka_colony，之后创建三个子目录kafka1、kafka2、kafka3，然后再复制单机版kafka的服务配置文件每一个kafka目录中。

mkdir kafka_colony
cd kafka_colony
mkdir kafka1
mkdir kafka2
mkdir kafka3
cp -a /usr/app/kafka/kafka_2.12-2.3.0/config/server.properties /usr/app/kafka/kafka_colony/kafka1/server1.properties
cp -a /usr/app/kafka/kafka_2.12-2.3.0/config/server.properties /usr/app/kafka/kafka_colony/kafka2/server2.properties
cp -a /usr/app/kafka/kafka_2.12-2.3.0/config/server.properties /usr/app/kafka/kafka_colony/kafka3/server3.properties

修改配置文件中的broker.id分别为：1、2、3。
listeners 这一行取消注释，端口号分别为：9093、9094、9095。
log.dirs 分别设置为：kafka-logs1、kafka-logs2、kafka-logs3（先创建）

mkdir -p /usr/app/kafka/kafka_colony/kafka1/kafka-logs1 /usr/app/kafka/kafka_colony/kafka2/kafka-logs2 /usr/app/kafka/kafka_colony/kafka3/kafka-logs3

server1.properties 的配置：

broker.id=1
listeners=PLAINTEXT://192.168.235.102:9093
log.dirs=/usr/app/kafka/kafka_colony/kafka1/kafka-logs1
## zk配置为集群列表
zookeeper.connect=localhost:2182,localhost:2183,localhost:2184

server2.properties 的配置：

broker.id=2
listeners=PLAINTEXT://192.168.235.102:9094
log.dirs=/usr/app/kafka/kafka_colony/kafka2/kafka-logs2
## zk配置为集群列表
zookeeper.connect=localhost:2182,localhost:2183,localhost:2184

server3.properties 的配置：

broker.id=3
listeners=PLAINTEXT://192.168.235.102:9095
log.dirs=/usr/app/kafka/kafka_colony/kafka3/kafka-logs3
## zk配置为集群列表
zookeeper.connect=localhost:2182,localhost:2183,localhost:2184

2.3.启动三个kafka服务

第一步：启动 ZK 集群；
第二步：启动 Kafka 集群（此处使用单机版的命令执行新的配置文件）

/usr/app/kafka/kafka_2.12-2.3.0/bin/kafka-server-start.sh -daemon /usr/app/kafka/kafka_colony/kafka1/server1.properties
/usr/app/kafka/kafka_2.12-2.3.0/bin/kafka-server-start.sh -daemon /usr/app/kafka/kafka_colony/kafka2/server2.properties
/usr/app/kafka/kafka_2.12-2.3.0/bin/kafka-server-start.sh -daemon /usr/app/kafka/kafka_colony/kafka3/server3.properties

第三步：开放外部访问 Kafka 集群端口（防火墙适用）

# 添加开放端口
firewall-cmd --add-port=9093/tcp --permanent
firewall-cmd --add-port=9094/tcp --permanent
firewall-cmd --add-port=9095/tcp --permanent
# 重启防火墙
firewall-cmd --reload
# 查看开放端口列表
firewall-cmd --list-port

PS：如果遇到zk node exists的问题，先把brokers节点删掉（临时解决方案）。

2.4.集群下创建Topic

在bin目录下，创建一个名为gptest的topic，只有一个副本，一个分区：

sh kafka-topics.sh --create --zookeeper localhost:2182 --replication-factor 1 --partitions 1 --topic gptest

查看已经创建的 topic：

sh kafka-topics.sh -list -zookeeper localhost:2182

2.5.集群下启动Consumer

在一个新的远程窗口中，在bin目录下：

sh kafka-console-consumer.sh --bootstrap-server 192.168.235.102:9093,192.168.235.102:9094,192.168.235.102:9095 --topic gptest --from-beginning

2.6.集群下启动Producer

打开一个新的窗口，在bin目录下：

sh kafka-console-producer.sh --broker-list 192.168.235.102:9093,192.168.235.102:9094,192.168.235.102:9095 --topic gptest

2.7.集群下Producer窗口发送消息

在生产者窗口输入hello world 回车，显示如同单机kafka类似。