1,升级原因
线上运的的集群最开始由于关掉了delete.topic.enable 这个选项,而且打开了自动创建topic的选项,导致线上集群topic多,分区数也很庞大,尝试了用kafka-manager工具去删除topic,没有效果,直接手动删除也比较麻烦,偶然在一个新版本上测试时发现即使是关掉了delete.topic.enable ,也可以直接用kafka-manager这个管理工具去删除topic,所以决定在测试环境先做个升级测试
2,升级过程
升级 192.168.1.120,192.168.1.9,192.168.1.218这三台机器
准备好安装包,操作192.168.1.218这台机器
wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz
解压
修改配置kafka_2.11-2.0.0的server.properties,添加2行,
inter.broker.protocol.version=0.10.2.1
log.message.format.version=0.10.2.1
其他配置保持不变,特别是数据存储目录,没有改变,注意对应修改broker id号和外网ip(我用的是外网连接)。
/opt/source/kafka_2.11-0.10.2.1/kafka-logs
停止kafka,使用kafka自带stop脚本bin下的kafka-server-stop.sh
,或者使用kill -s TERM $PIDS
然后启动kafka_2.11-2.0.0,由于之前配置了环境变量,注意用kafka_2.11-2.0.0目录下的程序去启动kafka:
nohup /opt/source/kafka_2.11-2.0.0/bin/kafka-server-start.sh server.properties &
测试创建topic t1 ,且收发消息正常:
tail -f a.txt |/opt/source/kafka_2.11-2.0.0/bin/kafka-console-producer.sh --broker-list 114.116.44.254:9092 --topic t1
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
kafka-topics.sh --create --zookeeper 192.168.1.218:2181 --replication-factor 2 --partitions 3 --topic t1
kafka-console-consumer.sh --bootstrap-server 192.168.1.120:9092,192.168.1.9:9092,192.168.1.218:9092 --topic t1
54
55
56
57
58
59
没有异常,观察1小时候,将剩下的两台机器都这样操作
逐台修改server.properties以下两个 0.10.2.1改为2.0.0,并逐台重启
inter.broker.protocol.version=2.0.0
log.message.format.version=2.0.0
安装kafk-manager 1.3.3.15后,在kafk-manager 删除topic test
有服务器数据目录下能看到这个文件
drwxr-xr-x 2 root root 4096 Aug 3 18:19 test-0.6d956cdc6cd84fd7a6d1d16862846f28-delete
drwxr-xr-x 2 root root 4096 Aug 3 18:19 test-1.7b0a5ae54b0c45209daff4f71ddc5414-delete
但过一会儿这两文件也没有了。
可以再创建同样名字的topic ,一点儿也不影响
kafka-topics.sh --create --zookeeper 192.168.1.218:2181 --replication-factor 2 --partitions 3 --topic test
Created topic "test".
参考链接:
1,https://www.jianshu.com/p/613799eaa961
2,https://blog.csdn.net/gdfsbingfeng/article/details/80499121
3,https://my.oschina.net/amethystic/blog/904559
4,https://blog.csdn.net/bluejoe2000/article/details/50885178