Linux环境下安装和部署zookeeper+kafka集群

今天要完成zookeeper和kafka集群的搭建和部署，目的在于为第四版数据采集器做环境准备，废话不多说，下面开始任务：

1.环境和相关包准备：

Xshell，kafka_2.10-0.9.0.0，zookeeper-3.4.9.tar

三台服务器：我分别命名为：uc-kafka1,uc-kafka2,uc-kafka3(将主机的hostname分别修改为上述三个)

2.在根目录下创建data文件夹:mkdir data,下data目录下创建zookeeper文件

首先将zookeeper压缩包上传到data\zookeeper目录下，并解压

解压命令：

tar -zxvf zookeeper-3.4.9.tar

解压完成后，在zookeeper目录下修改相关配置和参数

 

执行cp -rf conf/zoo_sample.cfg conf/zoo.cfg命令

进入config查看zoo.cfg文件

vim zoo.cfg 并进入编辑模式

(1).修改dataDir后面的目录（我是目录是在zookeeper文件夹里，这个目录需要自己建，并且必须存在）

(2).加上zookeeper集群的相关配置信息:

server.1=主机一:2888:3888

server.2=主机二:2888:3888

server.3=主机三:2888:3888

保存并退出编辑模式（Esc，shift+：，wq，enter）

接下来在存放data目录里创建myid文件，并分别赋值为1，2，3(三台机器的值分别为1.2.3)

vi myid

 

 

 

至此，zookeeper集群的配置就完成了；

 

进入zookeeper的bin目录，执行zookeeper的启动命令

.sh zkServer.sh start

 

启动完成后查看zookeeper状态

sh zkServer.sh status(显示为follow或者leader即为zookeeper启动成功)

 

3.部署kafka

3.1在data目录下创建kafka文件夹，并上传压缩包并解压

3.2进入kafka文件夹下的config

编辑server.properties文件

将三台主机的broker.id分别设置为0.1.2

host.name=hostname

log.dirs 自己去创建相关目录来存放日志

zookeeper连接配置：

hostname：2181，hostname2:2181,hostname3:2181

 

配置完毕后，进入bin目录，启动kafka服务

sh kafka-server-start.sh -daemon ../config/server.properties(后台启动)

创建一个test topic

sh kafka-topics.sh --zookeeper uc-kafka1:2181,uc-kafka2:2181,uc-kafka3:2181 --topic Test-Topic --replication-factor 3 --partitions 9 --create

查看topic

sh kafka-topics.sh --zookeeper uc-kafka1:2181 --list

 

在host1创建producer消息提供者

至此，zookeeper+kafka集群搭建完毕！

转载于:https://my.oschina.net/u/3397066/blog/896217