实时计算框架 Storm 的一步步搭建教程

Storm 框架搭建

安装依赖工具

1. sudo apt-get update

 

2. sudo apt-get install openjdk-7-jdk -y

 

3. sudo apt-get install g++ -y

4. sudo apt-get install gcc-multilib –y

 

5. sudo apt-get install libtool -y

6. sudo apt-get install automake -y

7. sudo apt-get install uuid-dev

 

8. sudo apt-get install libzmq-dev -y

安装 ZooKeeper

下载最新版本的ZooKeeper，下载地址：

http://zookeeper.apache.org/releases.html#download

下载后进行解压：

tar -zxvf zookeeper-3.5.1-alpha.tar.gz

将解压后的文件放到/usr/local/zookeeper目录下：

sudo mv zookeeper-3.5.1-alpha /usr/local/zookeeper

切换到zookeeper安装目录下的conf目录，用cp 命令拷贝一个zoo_samle.cfg 为zoo.cfg ，或者手动拷贝也可以。

cd /usr/local/zookeeper/conf

cp zoo_sample.cfg zoo.cfg

用 vim 打开 zoo.cfg，修改 datadir 路径，将路径改为/usr/local/zookeeper/data

vim zoo.cfg

输入 i 进行修改。

修改完后，输入 :wq 保存退出。

如果没有安装 vim，先使用下面语句安装

sudo apt-get install vim

添加相关路径

打开路径设置文件

vim ~/.bashrc

输入 i 进行修改，在文件的最后添加下面内容：

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export ZOOKEEPER_HOME=/usr/local/zookeeper

export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin

注意：JAVA_HOME 的值通过下面命令获得。

update-alternatives --config java

取出下图中白色选中部分：/usr/lib/jvm/java-7-openjdk-amd64

修改完后，输入 :wq 保存退出。

让刚才对配置文件的修改立即生效

source ~/.bashrc

安装 ZeroMQ

下载相关版本的ZeroMQ，下载地址：

http://zeromq.org/intro:get-the-software

下载后进行解压：

tar -zxvf zeromq-4.1.4.tar.gz

移动到/usr/local/下：

sudo mv zeromq-4.1.4 /usr/local/zeromq

进入目录，并进行编译安装，不使用libsodium：

cd /usr/local/zeromq

./configure --prefix=/usr/local/zeromq --without-libsodium

make

sudo make install

安装 JZMQ

下载相关版本的JZMQ，下载地址：

https://github.com/zeromq/jzmq

下载后进行解压：

unzip jzmq-master.zip

移动到/usr/local/下：

sudo mv jzmq-master /usr/local/jzmq

进入目录，并进行编译安装：

cd /usr/local/jzmq

./autogen.sh

./configure

make

sudo make install

 

注意：如果在“./ configure”这一步遇到下面错误：

就运行此句：sudo cp /usr/share/aclocal/pkg.m4 /usr/local/share/aclocal

安装 Storm

下载相关版本的Storm，下载地址：

http://storm.apache.org/downloads.html

下载后进行解压：

tar -zxvf apache-storm-0.10.0.tar.gz

将解压后的文件放到/opt/storm目录下：

sudo mv apache-storm-0.10.0 /usr/local/storm

添加Storm到环境变量中：

sudo vim ~/.bashrc

在文件的末尾加入：

export STORM_HOME=/usr/local/storm

export PATH=$PATH:$JAVA_HOME/bin: $STORM_HOME/bin:$ZOOKEEPER_HOME/bin

更新环境变量：

source ~/.bashrc

Storm 集群模式配置

切记：配置 storm.yaml 文件时一定要每一行前面都留一个空格，

且冒号后面也要留个空格。

 

打开 Storm 配置文件

cd $STORM_HOME\conf

vim storm.yaml

 

修改配置文件

下面 java.library.path 的值的获取办法跟【添加相关路径】步骤中的方式一样

 storm.zookeeper.servers:

        - "localhost"

storm.zookeeper.port: 2181

 nimbus.host: " localhost"

 nimbus.thrift.port: 6627

 ui.port: 8227

 storm.local.dir: "/usr/local/storm/data"

 java.library.path: "/usr/lib/jvm/java-7-openjdk-amd64"

 supervisor.slots.ports:

     - 6700

     - 6701

     - 6702

     - 6703

 

localhost 表示本机 IP 地址，也可以替换成具体的 IP 地址。

通过 ifconfig 命令获取 IP 地址

 

    具体的配置文件见【storm 示例配置文件.yaml】

启动 Storm

首先，启动集群ZooKeeper：

zkServer.sh start

 

启动 Nimbus 节点，打开一个终端，输入:

storm nimbus

 

启动Supervisor 节点，打开另一个终端，输入：

storm supervisor

 

启动 storm ui，打开第三个终端，输入：

storm ui

然后用浏览器打开http://192.168.204.140:8227查看storm ui

这里的 IP 地址 192.168.204.140 是 storm.yaml 里面配置的那个地址。

 

使用jps命令查看启动的进程信息：

jps

core 表示 storm ui

QuorumPeerMain 表示 zookeeper

Storm 的 UI 界面如下图所示。