4.storm中的拓扑示例(进程/线程/任务)

下面定义一个名为 mytopology 的拓扑,由一个 Spout 组件(BlueSpout)、两个 Bolt 组件 (GreenBolt 和 YellowBolt)共 3 个组件构成。

Config conf = new Config(); 

conf .setNumWorkers(2); 

// 使用两个工作进程

topologyBuilder.setSpout("blue-spout", new BlueSpout(),  2);

// 设并行度为 2

 

topologyBuilder.setBolt("green-bolt", new GreenBolt(),  2). setNumTasks(4)

// 使用 4 个任务 .shuffleGrouping("blue-spout");

topologyBuilder.setBolt("yellow-bolt", new YellowBolt(),  6) .shuffleGrouping("green-bolt");

StormSubmitter.submitTopology( "mytopology",conf,topologyBuilder.createTopology());

mytopology 拓扑的描述如下:

拓扑将使用两个工作进程(Worker);

Spout是id为blue-spout、并行度为2的BlueSpout实例(产生两个执行器和两个任务);

第一个 Bolt 是 id 为 green-bolt、并行度为 2、任务数为 4、使用随机分组方式接收blue-spout 所发射元组的 GreenBolt 实例(产生两个执行器和 4 个任务);

第二个Bolt是id为yellow-bolt、并行度为6、使用随机分组方式接收green-bolt所发射元组的 YellowBolt 实例(产生 6 个执行器和 6 个任务)。

所以,该拓扑一共有两个工作进程(Worker),2+2+6=10 个执行器(Executor),2+4+6=12 个任务。因此,每个工作进程可以分配到 10/2=5 个执行器,12/2=6 个任务。 默认情况下,一 个执行器执行一个任务,但是如果指定了任务的数目,则任务会平均分配到执行器中,因此, GreenBolt 的实例 green-bolt 的一个执行器将会分配到 4/2=2 个任务。mytopology 的拓扑及其对 应的资源分配如图 2.8 所示。

# "mytopology" 拓扑使用 5 个 Worker 进程

# "blue-spout" Spout 使用 3 个 Executor

# "yellow-bolt" Bolt 使用 10 个 Executor

storm rebalance mytopology -n 5 -e blue-spout=3 -e yellow-bolt=10