storm 安装教程

搭建storm集群的步骤：
1、设置zookeeper集群
2、安装依赖到所有nimbus和worker节点
3、下载并解压storm发布版本到所有nimbus和worker节点
4、配置storm.yaml
5、启动相关后台进程

1 、配置zookeeper集群
略

2 、安装依赖到nimbus和worker节点
storm需要依赖的是：
1、Java 6
2、Python 2.6.6

3 、下载解压storm发布版本到nimbus和worker节点
下载链接：http://storm.apache.org/downloads.html
（1）解压
$tar –zxvf apache-storm-0.10.0.tar.gz -C /home/storm （2）配置环境变量 Export$STORM_HOME=/home/storm/apache-storm-0.10.0

4、配置storm.yaml
storm里面有一个文件conf/storm.yaml，它就是storm的配置文件。关于这个文件的所有默认值可以从这里得到here。storm.yaml中的配置会覆盖掉default.yaml中的配置。下面配置一个集群必须修改的配置：

 1) storm.zookeeper.servers:配置zookeeper集群的列表

1.storm.zookeeper.servers:
2. - “111.222.333.444”
3. - “555.666.777.888”
如果你的zookeeper集群使用的端口不是默认端口，那么你还得配置storm.zookeeper.port。
2) storm.local.dir ：storm的nimbus和work进程需要一个目录来存放一小部分状态数据，比如jars、confs等等。我们需要在每台机器上创建这个目录并且赋予其相应的权限。
1.storm.local.dir: “/mnt/storm”
3) nimbus.host:worker节点需要知道哪个机器是master节点，以便自己从maser节点下载jars和confs。
1.nimbus.host: “111.222.333.44”
4) supervisor.slots.ports:对于每一台worker机器，它决定了这台机器一共可以运行多少个worker进程。每个worker进程会独占一个端口来接收消息，这个参数就是配置了哪些端口会分配给worker进程。如果你在这配置了5个端口，那么storm将能分配5个worker进程给这台机器，如果配置3个端口，那么storm也只能分配3个worker进程。storm默认分配4个worker进程到6700，6701,6702,6703端口。比如：
1.supervisor.slots.ports:
2. - 6700
3. - 6701
4. - 6702
5. - 6703

5、启动相关后台进程
最后一步就是启动所有storm相关守护进程。当然，把这些进程都纳入到监督进程管理之下是很有必要的。storm也是一个fail-fast系统，这就意味着这些进程一但遇到异常就会终止。storm之所以会这么设计，是为了它可以在任何时候安全的终止和在进程重启的时候恢复。这就是storm为不在进程中保存相关状态的原因，如果nimbus或supervisor节点重启，运行着的topoloies不会受到任何影响。下面就是启动storm相关进程的命令：
1、Nimbus：在master节点运行“bin/storm nimbus”
2、Supervisor：在每一台worker节点运行“bin/storm supervisor”,supervisor进程负责在worker节点上启动和停止相应的worker进程
3、UI：运行“bin/storm ui” ，一个通过页面管理和展示storm集群运行状态的工具，可以通过“http://nimbus host:8080”来访问。
我们可以看到启动storm服务进程相当简单直接，storm产生的log会保存在各台机器的storm/logs目录中，storm通过logback管理它的日志，我们可以通过修改其logback.xml文件来改变其log的目录及内容。
上图中：
1882 core 对应的进程是Storm UI
341 Jps 对应的进程是Java jps
1880 nimbus 对应的进程是Storm nimbus
18450 supervisor 对应的进程是Storm supervisor
27380 worker 对应的线程是Storm main函数里面设置的 conf.setNumWorkers(15) ，所以本例中有15个worker。
2112 QuorumPeerMain 对应的进程是zkServer.sh
其中在nimbus上nimbus、 core和 QuorumPeerMain 这三个进程必须启动，如果启动失败，需要研究一下日志中失败的原因，按照上述的顺序再启动一次。否则 会导致下一步的topology提交失败，切记