问题一、kafka和flink是否可以动态扩容?
答:可以的。
问题二、扩容之后修改的配置是什么?扩容方法?
Kafka修改:
- 1)拷贝线上配置到本地kafka目录。 2)需要注意的是server.properties里broker和ip的指定,必须要唯一。
3)server.properties中log.dirs必须要手动指定。此配置项是kafka接收日志的存储目录
4)zookeeper的指定可以是下面这种形式,手动定制zookeeper的目录,并且用逗号分隔ip
zookeeper.connect=1.1.1.1:2181,1.1.1.2:2181,1.1.1.3:2181
5)默认分区和备份数分别为10和3(num.partitions=10 /
default.replication.factor=3)当然这也可以在创建topic时手动指定。
Kafka扩容:
-
1.部署环境,保证所有机器上运行环境相同。
2.JMX_PORT=9997 bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 & 部署新节点,然后通过命令启动kafka,JMX_PORT是为了打开kafka的可管理端口(默认不启用)。
3.根据"配置修改"修改配置,然后启动集群,确保新节点为可用状态。4.生成扩容使用的json文件: cat topics-to-move.json {“topics”: [{“topic”: “topic1”}], //加粗部分是要手动指定的topic名称 “version”:1 }
5.通过上一步写好的json文件,使用kafka命令生成数据迁移配置 bin/kafka-reassign-partitions.sh --topics-to-move-json-file topics-to-move.json --zookeeper 1.1.1.99:2181/kafka-0.8.1 --broker-list “0,1,2,3,4” --generate //加粗部分是指定数据迁移到那些broker。
6.将第一部分保存留作回退备份(即Proposed partition reassignment