Storm/JStorm之Topology提交过程

咱以一个简单的案例来说明Topology提交流程：

public static void main(String[] args) throws AlreadyAliveException,
            InvalidTopologyException {
        TopologyBuilder builder = new TopologyBuilder();
        builder.setSpout("input", new RandomSentenceSpout(), 2);
        builder.setBolt("bolt_sentence", new SplitSentenceBolt(), 2)
                .shuffleGrouping("input");

        // 本地模式：最主要用来调试用
        LocalCluster cluster = new LocalCluster();
        System.out.println("start wordcount");
        cluster.submitTopology("word count", conf, builder.createTopology());
    }

1.先创建TopologyBuilder对象,用来构建builder
2.设置spout:传递一个spout-id,创建一个IRichSpout类型的对象，并将该对象作为setSpout方法的参数,数字2代表并行度
咱看一下setSpout源码:

 public SpoutDeclarer setSpout(String id, IRichSpout spout, Number parallelism_hint) {

        validateUnusedId(id);
        initCommon(id, spout, parallelism_hint);
        _spouts.put(id, spout);
        return new SpoutGetter(id);
    }

在上面的方法中，
首先:检测输入的id是否唯一,若已经存在将抛出异常
然后:构建ComponentCommon对象并进行相对应的初始化,最后放入到_commons(是TopologyBuilder的类成员变量)
接着:将所有IRichSpout类型的Spout对象，存放到Map

public BoltDeclarer setBolt(String id, IBasicBolt bolt, Number parallelism_hint) {
        return setBolt(id, new BasicBoltExecutor(bolt), parallelism_hint);
}

在该方法中先用BasicBoltExecutor将传入的IBasicBolt对象封装了一下，然后调用的是它的重载方法(为什么要对bolt封装一下呢？因为BasicBoltExecutor中实现了对消息的追踪)那在setBolt的重载方法里是如何处理的呢？
咱看一下这个重载方法的源码:

public BoltDeclarer setBolt(String id, IRichBolt bolt, Number parallelism_hint) {
        validateUnusedId(id);
        initCommon(id, bolt, parallelism_hint);
        _bolts.put(id, bolt);
        return new BoltGetter(id);
}

这个方法和上述的setSpout方法很类似:
首先:检测传入的组件id是否唯一
然后:通过调用initCommon方法生成common对象
接着:将所有IRichBolt类型的Bolt对象存放到Map String, IRichBolt>类型的变量_bolts中
最后:返回BoltDeclarer类型的对象(它其实继承了InputDeclarer接口),这里用来定义bolt的输入

在setSpout和setBolt的方法中都调用了initCommon方法,我们跟句前面介绍可以知道initCommon方法使用来初始化common对象的,然后给类成员变量_commons赋值,下面我们看一下它如何做的:

private void initCommon(String id, IComponent component, Number parallelism) {
        ComponentCommon common = new ComponentCommon();
        //设置消息流的来源及分组方式
        common.set_inputs(new HashMap<GlobalStreamId, Grouping>());
        if (parallelism != null) {
            //设置并行度
            common.set_parallelism_hint(parallelism.intValue());
        } else {
            common.set_parallelism_hint(1);
        }
        Map conf = component.getComponentConfiguration();
        if (conf != null)
            //设置组件的配置参数
            common.set_json_conf(JSONValue.toJSONString(conf));
        _commons.put(id, common);
}

如何上面的注释,在该方法中首先设置消息流的来源以及分组方式,如果并行度没有手动设置则默认为1
然后根据传入的相应的组件获得该组件的配置信息，并将配置信息转换成json类型存放到common对象中
最后将组件id和common对象存放到Map String, ComponentCommon>类型的变量_commons中,(_commons该变量主要用来存放了所有的Bolt和Spout对象)