Mac Docker容器里基于centos自定义镜像 配置kafka （模拟Linux环境配置kafka）

概要

这周结束了Spark-core，Spark-sql，Spark- stream的学习，发现到后期的案例实践需要用到Kafka和zookeeper，首先在网上搜了一下docker 配置kafka和zookeeper，发现有直接配置镜像的，即kafka，zookeeper单独搞个镜像，跟着步骤配置成功了但是和集群的联系比较拉，特别是我已经把Hadoop和spark集群配置好了，自定义的镜像模拟了Linux环境，干脆直接把Kafka和zookeeper也加进去。

自定义镜像越来越大了hhhh

整体架构流程

Kafka的安装包我选择的是kafka_2.12_2.4.1 跟着教程的版本，下载好后 传到容器里解压：

docker cp /xxxx/kafka安装包路径 容器名：/xxx/容器内目标路径

tar -zxvf kafka_2.12_2.4.1 -C /xxx/解压目标路径

完成后进入解压目录里的config 修改配置参数

1. broker_id=0 该参数代表Kafka节点，如果是要配置集群的话，每台服务器上该参数不能一样，代表节点id
2. zookeeper.connect=服务器ip：2181 这里需要同步服务器ip 如果是localhost的话就是宿主机ip了 需要注意

修改好后 可以制作一个启动/停止脚本 因为启动Kafka需要先启动zookeeper，所以如果一个一个的命令操作需要开多个窗口，比较麻烦：

在解压路径下创建启动脚本 # vim kafka_start.sh， 里边内容为：

#!/bin/sh
#启动zookeeper
/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &
 
sleep 3 #等3秒后执行
 
#启动kafka
/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &

创建停止脚本 # vim kafka_stop.sh

#!/bin/sh
#关闭zookeeper
/usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &
 
sleep 3 #等3秒后执行
 
#关闭kafka
/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &

接下来 Kafka 启动！

Kafka启动报错

Error: VM option ‘UseG1GC’ is experimental and must be enabled via -XX:+UnlockExperimentalVMOptions.

Error: Could not create the Java Virtual Machine.

Error: A fatal exception has occurred. Program will exit.

可以发现启动zookeeper和Kafka的时候均报错了，说虚拟机无法创建，因为“UseG1GC”参数的问题
经定位，报错原因为启动脚本中有配置参数-XX:+UseG1GC，这个参数并不直接在Kafka-server-start.sh 和 zookeeper-server-start.sh里面，而是在kafka-run-class.sh文件里，

解决办法：

1进入kafka/bin目录

2找到kafka-run-class.sh文件，vim编辑

3找到KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseG1GC -XX:MaxGCPauseMillis=20

直接删掉 -XX:+UseG1GC。

问题解决！

重新启动脚本 出现这些日志信息说明zookeeper和Kafka启动正常

成功！