一 zookeeper 分布式搭建
-
下载zookpeeper:zookeeper-3.14.10.tar.gz
-
根据公司使用
-
将zookeeper-3.4.10.tar.gz在user/local/下解压
-
创建文件夹mkdir /usr/local/zookeeper-3.4.10/data
-
更名并修改zk配置文件
a) cd /usr/local/zookeeper-3.4.10/conf/
b) mv zoo_sample.cfg zoo.cfg
c) vi zoo.cfg
-
创建zk日志目录,并修改日志指向
mkdir /usr/local/zookeeper-3.4.10/log
vi /usr/local/zookeeper-3.4.10/bin/zkEnv.sh
vi usr/local/zookeeper-3.4.10/conf/ log4j.properties
-
按照上面的过程在三个服务器中搭建zk
-
创建myid
Vi /usr/local/zookeeper-3.4.10/data/myid
-
修改zk配置:vi /usr/local/zookeeper-3.4.10/conf/zoo.cfg
-
分别启动三个zk:/usr/local/zookeeper-3.4.10/bin/zkServer.sh start /usr/local/zookeeper-3.4.10/conf/zoo.cfg
-
查看zk状态 /usr/local/zookeeper-3.4.10/bin/zkServer.sh status
查看到一个leader,其他为follower代表成功 -
停止 /usr/local/zookeeper-3.4.10/bin/zkServer.sh stop
二 .kafka 分布式搭建
13. 根据公司版本下载kafka:kafka_2.12-0.10.2.0.taz
14. 解压kafka
a) cd /usr/local
b) tar -zxf kafka_2.12-0.10.2.0.tgz
15. 创建数据文件夹:mkdir /usr/local/kafka_2.12-0.10.2.0/data
16. 修改配置文件:vi /usr/local/kafka_2.12-0.10.2.0/config/server.properties
17. 按照相同的步骤配置两个kafka
二 .数据重新分配
-
查看老kakfa的所有的topic:bin/kafka-topic.sh –zookeeper 192.168.8.107:2181, 192.168.8.107:2181, 192.168.8.107:2181 --list
-
记录并修改原来kafka的分区数目:bin/kafka-topic.sh --alter –zookeeper 192.168.8.107:2181, 192.168.8.107:2181, 192.168.8.107:2181 --partition 20 --topic xx
-
启动之前准备好的两个kafka:/usr/local/kafka_2.12-0.10.2.0/bin/kafka-server-start.sh -daemon /usr/local/kafka_2.12-0.10.2.0/config/server.properties
-
去zk检查一下是不是所有节点都上来了。
-
成功后,编写所需的json文件:vi expand-cluster-reassignment.json,格式如下
-
分区重新分配到副本中:bin/kafka-reassign-partitions.sh –zookeeper 192.168.8.107:2181, 192.168.8.107:2181, 192.168.8.107:2181 --reassignment-json-file expand-cluster-reassignment.json –execute
打印出 Successfully started reassignment of partitions 重新分区成功 -
对于需要新创建的topic:bin/kafka-topics.sh --create --zookeeper localhost:2181(zk集群节点,隔离) --replication-factor 1(集群个数) --partitions 1(分区数,推荐20个) --topic (topic名称)