阿里云服务器——zookeeper搭建kafka集群

一、准备阶段

资源下载

zookeeper

[https://zookeeper.apache.org/releases.html#download](https://zookeeper.
apache.org/releases.html#download)

云服务器

这里我用了两台云服务器，都是阿里云的centos7，一台我自己的一台朋友的，ip地址就不贴在这里了，两台服务器是能够ping通的，首先把咱们预先使用到的端口都放开

##开启zookeeper默认使用的端口2181，这里可以自定义，最好使用默认的
firewall-cmd --add-port=2181/tcp --permanent
##开启集群下zookeeper使用通信端口和选举端口，分别是2888 和3888
firewall-cmd --add-port=2888/tcp --permanent
firewall-cmd --add-port=3888/tcp --permanent
##开启kafka默认使用的端口9092，同样可以自定义
firewall-cmd --add-port=9092/tcp --permanent
##然后重启防火墙或者reload

kafka

https://kafka.apache.org/downloads

二、zookeeper环境搭建

1.将文件放入某个目录，然后使用

tar -zxvf apache-zookeeper-3.8.2-bin.tar.gz

进行解压

2. 修改配置文件
进入zookeeper根目录的conf目录，你会看到一个zoo_sample.cfg文件，这个文件是zookeeper的一个模板配置文件，他是没有配置效果的，名字为zoo.cfg的配置文件才有效果，因此我们复制一个zoo.cfg文件，使用如下命令。

cp zoo_sample.cfg zoo.cfg

进入zoo.cfg进行编辑

vim zoo_sample.cfg zoo.cfg

这里只贴出一些主要的配置，其他的配置还请去官网或者其他地方查询资料进行了解，一般都不用修改，默认就好

#端口号，默认2181，最好就这样不动他
clientPort=2181
#zookeeper存放节点数据的位置
dataDir=/home/qianyafan/middleware/zookeeper/zookeeperdata
#下面是zookeeper集群的配置，一个server.i 是一个主机
#这里server.i 的 'i' 是唯一标识，只能是数字，这个i要和后面配置的myid相对应
server.1=**.**.**.94:2888:3888
server.2=qianyafan.top:2888:3888

将如上配置配置到每台服务器，并在数据文件夹下新建一个myid文件，myid文件只输入上面说的server.i 的 ‘i’
这里我在qianyafan.top这台主机上配置的myid为2，对应上面的server.2=…

3.启动
进入zookeeper根目录的bin目录

#启动
./zkServer.sh start
#停止
./zkServer.sh stop

查看是否启动成功

lsof -i:2181

出现如下信息代表启动成功

三、kafka环境搭建

1.解压文件 （同上）
2.修改配置文件
去kafka根目录，进入config文件夹，找到server.properties，打开进行如下配置（同理本文只给出一些常用配置）。

#必须为数字且唯一，一个broker就是集群中的一个kafka。
#即多主机配置的话，每个broker就代表一台主机
broker.id=2
#监听主机ip和端口，默认说是监听主机上的所有ip，最好就是如下配置，我百度看其他文章不同主机的话都是改成本机ip，但是我这里改成本机的话服务回起不来，一直提示无法建立broker，不知道什么原因。
listeners=PLAINTEXT://:9092
#外部映射，如果说不配置默认是上面listeners，若启动成功在zookeeper中节点信息是一个内网或者说是随机的一个IP映射，后面创建topic或者生产、消费连接的话话会提示找不到集群中的主机，所以需要配置，这个配置就是本机的ip，若是云服务器那么就是公网ip，填写域名也可以。
advertised.listeners=PLAINTEXT://qianyafan.top:9092
#数据文件位置
log.dirs=/home/qianyafan/middleware/kafka/logs-1
#zookeeper集群链接地址 
zookeeper.connect=qianyafan.top:2181,**.**.**.94:2181

到这里理论上就可以了，如果说您的云服务器内存同样很小，那么建议修改如下配置。
找到kafka根目录下的bin目录里面的kafka-server-start.sh，vim编辑该文件，找到该行并根据自己的意愿修改大小，默认是1G-1G好像。

3.启动
到kafka根目录的bin目录下，启动比较麻烦，建议去百度一个启动脚本，这里我就不贴出脚本了。

#启动kafka
./kafka-server-start.sh -daemon ../config/server.properties

进入kafka根目录下的logs目录，进去server.log看下日志，没有什么报错就是启动成功了。
-----至此集群搭建完成，自行创建topic什么的进行检查吧。