Kafka-Kafka 基本指令 与 集群维护指令

 

下面的内容根据**学院的讲义总结而成

 

分为以下三个部分

0.Kafka集群基本信息实时查看和修改
 

1.Kafka集群leader平衡机制
 

2.Kafka集群分区日志迁移

 

 

0.Kafka集群基本信息实时查看和修改

 

topic 相关指令可以参考我的另一篇博文：

https://blog.csdn.net/u010003835/article/details/52190611

 

注意： --zookeeper 的地址要根据kafka 相关存储的信息做动态的调整 ！！！！！

 

集群信息实时查看(topic工具)：

列出集群当前所有可用的topic：
bin/kafka-topics.sh --list --zookeeper   zookeeper_address





查看集群特定topic 信息：
bin/kafka-topics.sh --describe --zookeeper zookeeper_address  --topic topic_name

 

 

 

 

 

集群信息实时修改(topic工具)：

创建topic：
bin/kafka-topics.sh --create --zookeeper zookeeper_address    --replication-factor 1 --partitions 1 --topic topic_name

 

增加(不能减少) partition(最后的4是增加后的值)：
bin/kafka-topics.sh --zookeeper zookeeper_address    --alter   --topic topic_name     --partitions 4 
修改的参数取决于Topic-level configuration .  里面的配置都能修改.

 

 

 

 

1.Kafka集群leader平衡机制   

 

 

每个partitiion的所有replicas叫做“assigned replicas”，“assigned replicas”中的第一个replicas叫“preferred replica”，刚创建的topic一般“preferred replica”是leader。下图中Partition 0的broker  2就是preferred replica”，默认会成为该分区的leader。

 

 

 

 

 

集群leader平衡：

bin/kafka-preferred-replica-election.sh --zookeeper zookeeper_address
 

或者修改配置文件, 设置 auto.leader.rebalance.enable=true  

让leader自动平衡

 

 

 

 

 

 

 

 

 

 

2.Kafka集群分区日志迁移  （热部署）

迁移topic数据到其他broker，请遵循下面四步：
 

1.写json文件,文件格式如下：

cat topics-to-move.json
{"topics": [{"topic": "foo1"},
            {"topic": "foo2"}],
 "version":1
}

 

 

2.使用–generate生成迁移计划（下面的操作是将topic: foo1和foo2移动到broker 5,6）:

bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --topics-to-move-json-file topics-to-move.json --broker-list "5,6"  --generate
这一步只是生成计划，并没有执行数据迁移；

 

 

 

3.使用–execute执行计划：

bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file expand-cluster-reassignment.json --execute
执行前最好保存当前的分配情况，以防出错回滚

 

 

 

 

4.使用–verify验证是否已经迁移完成

bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file expand-cluster-reassignment.json --verify

 

 

 

额外内容：

 

迁移某个topic的某些特定的partition数据到其他broker，步骤与上面一样，但是json文件如下面所示:

 

cat custom-reassignment.json

{"version":1,"partitions":[{"topic":"foo1","partition":0,"replicas":[5,6]},{"topic":"foo2","partition":1,"replicas":[2,3]}]}

可以指定到topic的分区编号

 

 

 

 

kafka-reassign-partitions.sh工具会复制磁盘上的日志文件，只有当完全复制完成，才会删除迁移前磁盘上的日志文件。执行分区日志迁移需要注意：

kafka-reassign-partitions.sh 工具的粒度只能到broker，不能到broker的目录(如果broker上面配置了多个目录，是按照磁盘上面已驻留的分区数来均匀分配的)，

所以，如果topic之间的数据，或者topic的partition之间的数据本身就不均匀，很有可能造成磁盘数据的不均匀:

对于分区数据较多的分区迁移数据会花大量的时间，所以建议在topic数据量较少或磁盘有效数据较少的情况下执行数据迁移操作；

 

 

进行分区迁移时最好先保留一个分区在原来的磁盘，这样不会影响正常的消费和生产，如果目的是将分区5(brober1,5)迁移到borker2,3。

可以先将5迁移到2,1，最后再迁移到2,3。而不是一次将1,5迁移到2,3。因为一次迁移所有的副本，无法正常消费和生产，部分迁移则可以正常消费和生产。