kafka 从2.11-0.10.2.1 升级到2.11-2.0.0

1，升级原因

     线上运的的集群最开始由于关掉了delete.topic.enable 这个选项，而且打开了自动创建topic的选项，导致线上集群topic多，分区数也很庞大，尝试了用kafka-manager工具去删除topic,没有效果，直接手动删除也比较麻烦，偶然在一个新版本上测试时发现即使是关掉了delete.topic.enable ，也可以直接用kafka-manager这个管理工具去删除topic，所以决定在测试环境先做个升级测试

2，升级过程

  

升级 192.168.1.120,192.168.1.9,192.168.1.218这三台机器
准备好安装包，操作192.168.1.218这台机器
wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz
解压

修改配置kafka_2.11-2.0.0的server.properties，添加2行，

inter.broker.protocol.version=0.10.2.1

log.message.format.version=0.10.2.1

其他配置保持不变，特别是数据存储目录，没有改变,注意对应修改broker id号和外网ip（我用的是外网连接）。
/opt/source/kafka_2.11-0.10.2.1/kafka-logs
 

停止kafka，使用kafka自带stop脚本bin下的kafka-server-stop.sh，或者使用kill -s TERM $PIDS

然后启动kafka_2.11-2.0.0，由于之前配置了环境变量，注意用kafka_2.11-2.0.0目录下的程序去启动kafka:

nohup /opt/source/kafka_2.11-2.0.0/bin/kafka-server-start.sh server.properties &
测试创建topic t1 ，且收发消息正常：

tail -f a.txt |/opt/source/kafka_2.11-2.0.0/bin/kafka-console-producer.sh --broker-list 114.116.44.254:9092  --topic t1
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

 

kafka-topics.sh --create --zookeeper 192.168.1.218:2181 --replication-factor 2 --partitions 3 --topic t1

 

kafka-console-consumer.sh --bootstrap-server 192.168.1.120:9092,192.168.1.9:9092,192.168.1.218:9092 --topic t1
54
55
56
57
58
59

 

没有异常，观察1小时候，将剩下的两台机器都这样操作

逐台修改server.properties以下两个 0.10.2.1改为2.0.0，并逐台重启

inter.broker.protocol.version=2.0.0

log.message.format.version=2.0.0

 

安装kafk-manager  1.3.3.15后，在kafk-manager 删除topic test

有服务器数据目录下能看到这个文件

drwxr-xr-x 2 root root 4096 Aug  3 18:19 test-0.6d956cdc6cd84fd7a6d1d16862846f28-delete
drwxr-xr-x 2 root root 4096 Aug  3 18:19 test-1.7b0a5ae54b0c45209daff4f71ddc5414-delete

但过一会儿这两文件也没有了。

可以再创建同样名字的topic ,一点儿也不影响

kafka-topics.sh --create --zookeeper 192.168.1.218:2181 --replication-factor 2 --partitions 3 --topic test 
Created topic "test".

参考链接：

1，https://www.jianshu.com/p/613799eaa961

2，https://blog.csdn.net/gdfsbingfeng/article/details/80499121

3，https://my.oschina.net/amethystic/blog/904559

4，https://blog.csdn.net/bluejoe2000/article/details/50885178

5，http://www.orchome.com/505