kafka和flink的动态扩容

问题一、kafka和flink是否可以动态扩容?

答：可以的。

问题二、扩容之后修改的配置是什么？扩容方法？

Kafka修改:

1. 1）拷贝线上配置到本地kafka目录。 2）需要注意的是server.properties里broker和ip的指定，必须要唯一。
   3）server.properties中log.dirs必须要手动指定。此配置项是kafka接收日志的存储目录
   4）zookeeper的指定可以是下面这种形式，手动定制zookeeper的目录，并且用逗号分隔ip
   zookeeper.connect=1.1.1.1:2181,1.1.1.2:2181,1.1.1.3:2181
   5）默认分区和备份数分别为10和3（num.partitions=10 /
   default.replication.factor=3）当然这也可以在创建topic时手动指定。

Kafka扩容：

• 1.部署环境，保证所有机器上运行环境相同。
  2.JMX_PORT=9997 bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 & 部署新节点，然后通过命令启动kafka，JMX_PORT是为了打开kafka的可管理端口（默认不启用）。
  3.根据"配置修改"修改配置，然后启动集群，确保新节点为可用状态。

  4.生成扩容使用的json文件： cat topics-to-move.json {“topics”: [{“topic”: “topic1”}], //加粗部分是要手动指定的topic名称 “version”:1 }

  5.通过上一步写好的json文件，使用kafka命令生成数据迁移配置 bin/kafka-reassign-partitions.sh --topics-to-move-json-file topics-to-move.json --zookeeper 1.1.1.99:2181/kafka-0.8.1 --broker-list “0,1,2,3,4” --generate //加粗部分是指定数据迁移到那些broker。

  6.将第一部分保存留作回退备份(即Proposed partition reassignment