Twitter Storm: 搭建storm集群-CSDN博客

Twitter Storm: 搭建storm集群

作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明
网址: http://xumingming.sinaapp.com/179/twitter-storm-搭建storm集群/

本文翻译自： https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster。

这篇文章介绍搭建storm集群并运行的步骤。如果你使用AWS, 那么你可以看一下storm-deploy项目，storm-deploy项目使得在Amazon EC2上安装,配置storm集群完全自动化。这篇文章同时也帮你配置好Ganglia以监控CPU，硬盘以及网络资源的使用情况。

下面是搭建storm集群的一些主要步骤：

搭建ZooKeeper集群。
在Nimbus和所有工作机器上面安装所有的软件。
在Nimbus和所有工作机器上下载并解压storm的发行版。
对storm.yaml进行一些必要的配置。
使用storm脚本来启动所有的必要的进程(nimbus, supervisor, worker)。

搭建ZooKeeper集群

storm使用zookeeper来协调整个集群，但是要注意的是storm并不用zookeeper来传递消息。所以zookeeper上的负载是非常低的，单个节点的zookeeper在大多数情况下都已经足够了，但是如果你要部署大一点的storm集群，那么你需要的zookeeper也要大一点。关于如何部署zookeeper，可以看这里。

关于如何部署zookeeper有些需要注意的地方：

对zookeeper做好监控非常重要， zookeeper是fail-fast的系统，只要出现什么错误就会退出，所以一定要监控，更多细节看这里。
一定要配置一个cron job来压缩zookeeper的数据和业务日志。zookeeper自己是不会去压缩这些的，所以你如果不设置一个cron job, 那么你很快就会磁盘不够用了，更多细节看这里。

在Nimbus和工作机器上安装必要软件

接下来需要安装Nimbus和工作机器上面的一些storm所依赖的软件。

ZeroMQ 2.1.7
JZMQ
Java 6
Python 2.6.6
unzip

上面同时也列出了storm所依赖的软件的版本，如果版本不一样可能运行不了。

如果安装ZeroMQ和JZMQ的时候有问题，可以看下安装依赖。

在Nimbus和工作机器上下载并解压storm发行版

接下来，下载storm的发行版，然后解压。storm的发行版可以在这里找到。

配置storm.yaml

storm发行版在conf/storm.yaml包含了一些配置信息。你可以在这里看到默认配置。storm.yaml里面的配置比default.xml的优先级要高，下面是要运行storm集群所必须的配置:

1. storm.zookeeper.servers 这个配置storm集群使用的zookeeper集群的地址，比如:

1

2

3

 
         storm.zookeeper.servers: 
        
         - "111.222.333.444" 
        
         - "555.666.777.888"

2. storm.local.dir Nimbus和Supervisor在本地磁盘上需要一个目录来存储一些状态信息(jar包，配置文件之类的东西）你应该在每台机器上创建那个目录，分配正确的权限，比如:

1	`storm.local.dir: "/mnt/storm"`

3. java.library.path 这是storm所依赖的本地依赖(ZeroMQ和JZMQ)的加载地址, 默认的是:/usr/local/lib:/opt/local/lib:/usr/lib, 大多情况下是对的，所以你应该不用更改这个配置。

4. nimbus.host 所有工作机器需要nimbus机器的地址，这样它们才知道去哪里获取jar包和配置文件:

1	`nimbus.host: "111.222.333.44"`

5. supervisor.slots.ports 对于每一台工作机器，这个配置指定在这台工作机器上运行多少工作进程，每个进程使用一个独立端口来接收消息，这个配置同时也指定使用哪些端口。如果你在这里定义5个端口， storm会在这个机器上最多分配5个工作进程。如果分配3个端口，那么最多分配3个进程。默认的配置是4个：

1

2

3

4

5

 
         supervisor.slots.ports: 
        
         - 6700 
        
         - 6701 
        
         - 6702 
        
         - 6703

启动守护进程

最后一步是启动storm的所有守护进程。还是前面说的那样，对于每个进程都要有监控！storm是一个fail-fast系统，出现什么不可预知的错误的时候它都会退出的。storm被设计成在任何时候都可以安全退出，在任何时候都能正确重启，这就是storm为什么不在线程内存储状态 — 如果Nimbus和Supervisor重启的话，不会影响正在运行的topology。下面介绍如何启动这些线程：

Nimbus 在Nimbus机器上运行bin/storm nimbus
Supervisor 在每台工作机器上运行bin/storm supervisor, supervisor负责启动和终止工作机器上的工作进程。
UI storm UI是一个可以查看storm运行状态的的一个网站，通过bin/storm ui运行，访问地址: http://{nimbus.host}:8080/。

就像你能看到的一样，运行storm集群很简单。这些进程会往你解压storm发行版的目录的子目录logs目录里面打日志。