storm代码阅读(八)

2021SC@SDUSC

storm代码阅读(八)

2021SC@SDUSC

WorkerTopologyContext

WorkerTopologyContext类继承自GeneralTopologyContext,它是Storm中worker运行的上下文环境,也即Executor中的共享环境。

该类具体实现代码如下:

public class WorkerTopologyContext extends GeneralTopologyContext {
    public static final String SHARED_EXECUTOR = "executor";
    Map<String, Object> userResources;
    Map<String, Object> defaultResources;
    private Integer workerPort;
    private List<Integer> workerTasks;
    private String codeDir;
    private String pidDir;
    private AtomicReference<Map<Integer, NodeInfo>> taskToNodePort;
    private String assignmentId;
    private final AtomicReference<Map<String, String>> nodeToHost;

下面介绍该类的一些成员变量:

userResources: 为Executor的共享资源。

defaultResources: 为默认资源,目前含有一个线程池。mk-default-resources函数为worker创建了一个大小为TOPOLOGY-WORKER-SHARED-THREAD-POOL-SIZE的线程池,并放置于defaultResources中,其键为executor。

workerPort: 为该Worker所对应的端口号,用于ZMQ传输数据等。

workerTasks: 为该Worker上执行的Task集合。

codeDir: 为第三方的目录,是启动其它语言程序的工作目录。具体内容为$StormData\supervisor\stormdist[TopologyId]\resources。

pidDir: 为该Worker进程所对应的目录,所有由该Worker产生的子进程都会在该目录下写下进程编号,待到Worker结束时就将杀死对应的子进程。这个目录为$StormData\workers[uuid]\pids\,其中 $StormData由配置项决定,而[uuid]为一个随机的GUID值,代表了Worker的ID。

TopologyContext

在创建一个Task时,需要为其先创建一个TopologyContext对象,以便可以更加容易地获得Topology信息,例如系统中的组件、组件对应的Task等。mk-topology-context-builder函数用来创建该对象。

mk-topology-context-builder函数代码如下:
在这里插入图片描述
在这里插入图片描述
其中第13行将传入的参数转换成int类型,%表示占位符,传入的参数为Task的TaskId。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值