下面定义一个名为 mytopology 的拓扑,由一个 Spout 组件(BlueSpout)、两个 Bolt 组件 (GreenBolt 和 YellowBolt)共 3 个组件构成。
Config conf = new Config();
conf
.setNumWorkers(2);
// 使用两个工作进程
topologyBuilder.setSpout("blue-spout", new BlueSpout(),
2);
// 设并行度为 2
topologyBuilder.setBolt("green-bolt", new GreenBolt(),
2).
setNumTasks(4)
// 使用 4 个任务 .shuffleGrouping("blue-spout");
topologyBuilder.setBolt("yellow-bolt", new YellowBolt(),
6) .shuffleGrouping("green-bolt");
StormSubmitter.submitTopology( "mytopology",conf,topologyBuilder.createTopology());
mytopology 拓扑的描述如下:
拓扑将使用两个工作进程(Worker);
Spout是id为blue-spout、并行度为2的BlueSpout实例(产生两个执行器和两个任务);
第一个 Bolt 是 id 为 green-bolt、并行度为 2、任务数为 4、使用随机分组方式接收blue-spout 所发射元组的 GreenBolt 实例(产生两个执行器和 4 个任务);
第二个Bolt是id为yellow-bolt、并行度为6、使用随机分组方式接收green-bolt所发射元组的 YellowBolt 实例(产生 6 个执行器和 6 个任务)。
所以,该拓扑一共有两个工作进程(Worker),2+2+6=10 个执行器(Executor),2+4+6=12 个任务。因此,每个工作进程可以分配到 10/2=5 个执行器,12/2=6 个任务。
默认情况下,一 个执行器执行一个任务,但是如果指定了任务的数目,则任务会平均分配到执行器中,因此, GreenBolt 的实例 green-bolt 的一个执行器将会分配到 4/2=2 个任务。mytopology 的拓扑及其对 应的资源分配如图 2.8 所示。
# "mytopology" 拓扑使用 5 个 Worker 进程
# "blue-spout" Spout 使用 3 个 Executor
# "yellow-bolt" Bolt 使用 10 个 Executor
storm rebalance mytopology -n 5 -e blue-spout=3 -e yellow-bolt=10