Topology运行的秘密:关于worker,executor和task

最新推荐文章于 2021-12-08 21:30:00 发布

Del_Zhu

最新推荐文章于 2021-12-08 21:30:00 发布

阅读量1.3k

点赞数

分类专栏： storm 文章标签： storm

本文链接：https://blog.csdn.net/Del_Zhu/article/details/52181330

版权

storm 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

全文参考官方文档:http://storm.apache.org/releases/2.0.0-SNAPSHOT/Understanding-the-parallelism-of-a-Storm-topology.html

storm的topology结构

Storm定义了三种不同维度的组件来共同维持topology的运行，他们是
- worker
- executor(thread)
- task
这里写图片描述
上图已经把互相之间的关系表述的非常清楚了，这里再补充一个简单的算数关系：

Task的数量 ≥ Executor的数量≥Worker的数量≥topology的数量

在代码中修改topology的并行参数

下面介绍下如何在代码中配置上述的几个参数。
Worker
首先这是一个Topology的参数，所以显然应该到Config中找，有这个Config.setNumWorkers()方法可用。
Executor
通过TopologyBuilder.setSpout() 和TopologyBuilder.setBolt() 的parallelism_hint参数来设置。
Task
通过ComponentConfigurationDeclarer.setNumTasks()

动态修改topology的并行参数

除了在代码中指定上述的参数之外，还可以动态对他们进行配置而不用重启整个集群。要这么做，需要用到CLI工具。
下面是使用CLI的一个简单例子

## 指定mytopology使用5个worker进程
## 指定blue-spout使用3个executor
## 指定yello-bolt使用10个Executor

$ storm rebalance mytopology -n 5 -e blue-spout=3 -e yellow-bolt=10