Eclipse运行storm-starter

官网下载的Storm安装文件中自带storm-starter源码，所在路径为storm/examples/storm-starter，可以在该目录下用maven打包源代码并提交到storm上运行，也可以使用eclipse编译运行。

1.新建项目，导入依赖库

在eclipse中新建一个java项目，例如storm_starter，点击下一步，然后在Libraries中选择add External JARs，追加依赖库twitter4j、commons-collections-3.2.1、guava以及storm目录下lib中的jar文件到项目中，作为引用的库导入项目中，其中三个依赖库需要自己下载。

2.导入源代码

右击项目，选择导入->通用->文件系统，源文件从storm/examples/storm-starter/src/jvm/org/apache/storm/starter中导入，目标位置选择当前项目下的src文件夹，选中Create top-level folder选项，完成导入。

3.导入配置文件

将storm/conf目录下的storm.yaml以及storm/examples/storm-starter/multilang下的resources文件夹复制到当前项目的src下，刷新之后即可在工作空间中看到。

至此storm-starter导入完毕，但由于其中的java文件首行为package org.apache.storm.starter;而当前源代码导入到src/starter下，所以在运行之前需要改为package starter;

4.遇到的问题

4.1 出现File '/tmp/supervisor/stormdist/word-count-1-1473831242/stormconf.ser' 无法创建或者不存在错误

关闭storm集群，删除storm.local.dir配置目录下的文件，重启集群即可。

经测试storm1.0.2的storm-starter会出现一些问题，所以下载storm0.9.6，使用其中的storm-starter源码，添加storm0.9.6中的lib文件到外部依赖库，其余的配置与上述一致。

5.本地模式与集群模式

storm-starter中的例子多是本地创建进程模拟集群进行处理，例如WordCountTopology，其中本地运行的代码如下：

      conf.setMaxTaskParallelism(3);

      LocalCluster cluster = new LocalCluster();
      cluster.submitTopology("word-count", conf, builder.createTopology());

      Thread.sleep(10000);

      cluster.shutdown();

如果转成集群模式，则需要修改为：

      conf.setMaxTaskParallelism(3);

      //LocalCluster cluster = new LocalCluster();
      StormSubmitter.submitTopology("word-count", conf, builder.createTopology());

      //Thread.sleep(10000);

      //cluster.shutdown();