本文主题:构建和运行Storm拓扑(Build and Run the Storm Topology)
一、构建Storm拓扑
实现了Spout和Bolt后,就可以构建Storm拓扑了,使用TopologyBuilder构建Topology。
TopologyBuilder builder = new TopologyBuilder();
之后就可以使用builder对象构建拓扑了,使用setSpout方法配置Spout。
public SpoutDeclarer setSpout(String id, IRichSpout spout) throws IllegalArgumentException;
public SpoutDeclarer setSpout(String id, IRichSpout spout, Number parallelism_hint) throws IllegalArgumentException;
setSpout方法有2个重载的版本(基于IRichSpout实现Spout时),第一个传入2个参数:Spout的ID和IRichSpout实例,即自己实现的Spout实例;第二个传入3个参数:Spout的ID、IRichSpout实例和Spout的并行数。
setSpout方法返回一个SpoutDeclarer对象,可以使用该对象进一步对Spout进行配置,具体请参考SpoutDeclarer API。
继续使用builder对象的setBolt方法配置Bolt。
public BoltDeclarer setBolt(String id, IRichBolt bolt) throws IllegalArgumentException;
public BoltDeclarer setBolt(String id, IRichBolt bolt, Number parallelism_hint) throws IllegalArgumentException;
setBolt方法也有2个个重载的版本(基于IRichBolt实现Bolt时),第一个传入2个参数:Bolt的ID和IRichBolt实例,即自己实现的Bolt实例;第二个传入3个参数:Bolt的ID、IRichBolt实例和Bolt的并行数。
setBolt方法返回一个BoltDeclarer对象,可以使用该对象进一步对Bolt进行配置,最常见的就是配置Tuple的分流(grouping)方式。
二、运行Storm拓扑
Storm拓扑有2种运行模式,集群模式和本地模式。
集群模式运行Storm拓扑,首先使用StormSubmitter类的静态方法submitTopology来提交拓扑,方法声明如下:
public static void submitTopology(String name, Map stormConf, StormTopology topology) throws AlreadyAliveException, InvalidTopologyException, AuthorizationException;
第一个参数是拓扑的名称,第二个是拓扑更详细的一些配置信息,第三个StormTopology使用前面的builder对象来创建,举例:
Config config = new Config();
StormSubmitter.submitTopology("wordCount",config ,builder.createTopology());
然后将项目打包为jar,到Nimbus机器上执行Python脚本storm提交到集群运行。
Storm jar yourJar.jar MainClass args...
本地模式运行Storm拓扑,使用LocalCluster,举例:
LocalCluster cluster = new LocalCluster();
Config config = new Config();
cluster.submitTopology(topologyID,stormConf,builder.createTopology());
之后,像普通Java Application一样运行即可。