storm_安装与配置

安装storm集群的步骤如下：

1. 搭建ZooKeeper集群;
2. 安装storm依赖库;
3. 下载并解压storm发行版本;
4. 配置storm.yaml文件;
5. 启动storm的各个守护进程;

1.搭建zookeeper集群

详见zookeeper章节。

2.安装storm依赖库

  2.1消息传输机制

消息队列ZeroMQ和JZMQ

ZMQ(以下ZeroMQ简称ZMQ)是一个简单好用的传输层，像框架一样的一个socket library，他使得Socket编程更加简单、简洁和性能更高。是一个消息处理队列库，可在多个线程、内核和主机盒之间弹性伸缩。ZMQ的明确目标是“成为标准网络协议栈的一部分，之后进入Linux内核”。现在还未看到它们的成功。但是，它无疑是极具前景的、并且是人们更加需要的“传统”BSD套接字之上的一层封装。ZMQ让编写高性能网络应用程序极为简单和有趣。

 

JZMQ是对ZMQ的Java绑定。 

 

消息队列Netty

    Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。

    也就是说，Netty 是一个基于NIO的客户，服务器端编程框架，使用Netty 可以确保你快速和简单的开发出一个网络应用，例如实现了某种协议的客户，服务端应用。Netty相当简化和流线化了网络应用的编程开发过程，例如，TCP和UDP的socket服务开发。

Storm使用Netty和ZeroMQ两种消息传递机制，默认是ZeroMQ。Netty比ZMQ的网络传输性能快一倍以上。

    Netty是Storm 0.9 里面引入的新的消息传输机制，在这之前消息传输机制是写死的用的 ZeroMQ, 而在 Storm 发展的过程中发现 ZeroMQ(JZMQ) 存在一些问题，比如 ZeroMQ 本身是 C 实现的，所使用的内存不受 Java 的控制，是的我们没有办法通过-Xmx 参数来调节 Storm 的内存使用；ZeroMQ 对于 Storm 来说有点黑盒的感觉，因此 Storm 想要获得的一些信息比如有多少消息被 buffer 了没有发送出去是获得不了的；而也因为 ZeroMQ 是非 Java 实现的，使得 Storm 的安装过程复杂了一些。

    新引入的消息传输机制使得消息传输机制是可以被配置替换的，这意味着我们不必被捆绑于某种具体的传输机制比如 ZeroMQ，来自 Yahoo 的 Andy Feng 实现了一个基于 Netty 的纯 Java 的消息传输机制。虽然说消息传输机制是可以被替换的，但是要实现一个可用的消息传输层还是需要满足一些条件的，以满足 Storm 的语意：* 消息发送方可以在连接建立之前发送消息，而不需要等连接建立起来，因为这时候消息接收方可能还没有运行起来。因此这就需要在消息传输的 Client 端有个 buffer，在连接没有建立之前把要发送的消息 buffer 起来。*  在消息传输层，消息『最多只能发送一次』，因为在 Storm 层面有 ACK 机制来保证没有被发送成功的消息会被重发，如果传输层面自己再重发，会导致消息被发多次。

2.2安装Python2.6.6

Linux系统一般自带python软件。

如果python的版本不够高或者没有安装，可以使用yum install python命令进行在线安装或升级。

3.下载并解压storm发行版本

3.1下载storm版本

官网下载地址：

https://storm.apache.org/downloads.html

3.2复制到/opt/storm

使用xftp工具，将解压出来的storm内容复制到/opt/storm目录：

修改opt/storm目录的所有者为当前用户（gary）

sudo chown –R gary /opt/storm

修改访问权限为777

sudo chmod –R 777 /opt/storm

3.3配置环境变量

在/etc/profile中最后添加如下两行：

export STORM_HOME=/usr/local/storm-0.9.5

export PATH=$PATH:$STORM_HOME/bin

 

source /etc/profile

使其立即生效

echo $STORM _HOME 测试

输出了内容，环境变量设置成功。

4.1配置storm.yaml文件

在/opt/storm/conf下有一个storm的配置文件：storm.yaml：

默认里面的内容全是注释着的，即为空。

因为本例中，zookeeper集群的节点主机为zoo1~zoo3,Nimbus进程的节点主机为zoo1，supervisor进程的节点主机为zoo2、zoo3.因此配置如下：

storm.zookeeper.servers:

    - "zoo1"

    - "zoo2"

    - "zoo3"

nimbus.host: "zoo1"

drpc.servers:

     - "zoo1"

ui.port: 8085

supervisor.slots.ports:

    - 6700

    - 6701

    - 6702

    - 6703

storm.local.dir: "/opt/storm/workdir"

后面黄色部分是后加的，没加之前storm ui出不来。

storm.local.dir: Nimbus和Supervisor进程用于存储少量状态，如jars、confs等的本地磁盘目录，需要提前创建该目录并给以足够的访问权限。