2021SC@SDUSC
storm代码阅读(八)
2021SC@SDUSC
Task部分阅读(三)
WorkerTopologyContext
WorkerTopologyContext类继承自GeneralTopologyContext,它是Storm中worker运行的上下文环境,也即Executor中的共享环境。
该类具体实现代码如下:
public class WorkerTopologyContext extends GeneralTopologyContext {
public static final String SHARED_EXECUTOR = "executor";
Map<String, Object> userResources;
Map<String, Object> defaultResources;
private Integer workerPort;
private List<Integer> workerTasks;
private String codeDir;
private String pidDir;
private AtomicReference<Map<Integer, NodeInfo>> taskToNodePort;
private String assignmentId;
private final AtomicReference<Map<String, String>> nodeToHost;
下面介绍该类的一些成员变量:
userResources: 为Executor的共享资源。
defaultResources: 为默认资源,目前含有一个线程池。mk-default-resources函数为worker创建了一个大小为TOPOLOGY-WORKER-SHARED-THREAD-POOL-SIZE的线程池,并放置于defaultResources中,其键为executor。
workerPort: 为该Worker所对应的端口号,用于ZMQ传输数据等。
workerTasks: 为该Worker上执行的Task集合。
codeDir: 为第三方的目录,是启动其它语言程序的工作目录。具体内容为$StormData\supervisor\stormdist[TopologyId]\resources。
pidDir: 为该Worker进程所对应的目录,所有由该Worker产生的子进程都会在该目录下写下进程编号,待到Worker结束时就将杀死对应的子进程。这个目录为$StormData\workers[uuid]\pids\,其中 $StormData由配置项决定,而[uuid]为一个随机的GUID值,代表了Worker的ID。
TopologyContext
在创建一个Task时,需要为其先创建一个TopologyContext对象,以便可以更加容易地获得Topology信息,例如系统中的组件、组件对应的Task等。mk-topology-context-builder函数用来创建该对象。
mk-topology-context-builder函数代码如下:
其中第13行将传入的参数转换成int类型,%表示占位符,传入的参数为Task的TaskId。