Storm 框架搭建
安装依赖工具
1. sudo apt-get update
2. sudo apt-get install openjdk-7-jdk -y
3. sudo apt-get install g++ -y
4. sudo apt-get install gcc-multilib –y
5. sudo apt-get install libtool -y
6. sudo apt-get install automake -y
7. sudo apt-get install uuid-dev
8. sudo apt-get install libzmq-dev -y
安装 ZooKeeper
下载最新版本的ZooKeeper,下载地址:
http://zookeeper.apache.org/releases.html#download
下载后进行解压:
tar -zxvf zookeeper-3.5.1-alpha.tar.gz
将解压后的文件放到/usr/local/zookeeper目录下:
sudo mv zookeeper-3.5.1-alpha /usr/local/zookeeper
切换到zookeeper安装目录下的conf目录,用cp 命令拷贝一个zoo_samle.cfg 为zoo.cfg ,或者手动拷贝也可以。
cd /usr/local/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
用 vim 打开 zoo.cfg,修改 datadir 路径,将路径改为/usr/local/zookeeper/data
vim zoo.cfg
输入 i 进行修改。
修改完后,输入 :wq 保存退出。
如果没有安装 vim,先使用下面语句安装
sudo apt-get install vim
添加相关路径
打开路径设置文件
vim ~/.bashrc
输入 i 进行修改,在文件的最后添加下面内容:
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin
注意:JAVA_HOME 的值通过下面命令获得。
update-alternatives --config java
取出下图中白色选中部分:/usr/lib/jvm/java-7-openjdk-amd64
修改完后,输入 :wq 保存退出。
让刚才对配置文件的修改立即生效
source ~/.bashrc
安装 ZeroMQ
下载相关版本的ZeroMQ,下载地址:
http://zeromq.org/intro:get-the-software
下载后进行解压:
tar -zxvf zeromq-4.1.4.tar.gz
移动到/usr/local/下:
sudo mv zeromq-4.1.4 /usr/local/zeromq
进入目录,并进行编译安装,不使用libsodium:
cd /usr/local/zeromq
./configure --prefix=/usr/local/zeromq --without-libsodium
make
sudo make install
安装 JZMQ
下载相关版本的JZMQ,下载地址:
https://github.com/zeromq/jzmq
下载后进行解压:
unzip jzmq-master.zip
移动到/usr/local/下:
sudo mv jzmq-master /usr/local/jzmq
进入目录,并进行编译安装:
cd /usr/local/jzmq
./autogen.sh
./configure
make
sudo make install
注意:如果在“./ configure”这一步遇到下面错误:
就运行此句:sudo cp /usr/share/aclocal/pkg.m4 /usr/local/share/aclocal
安装 Storm
下载相关版本的Storm,下载地址:
http://storm.apache.org/downloads.html
下载后进行解压:
tar -zxvf apache-storm-0.10.0.tar.gz
将解压后的文件放到/opt/storm目录下:
sudo mv apache-storm-0.10.0 /usr/local/storm
添加Storm到环境变量中:
sudo vim ~/.bashrc
在文件的末尾加入:
export STORM_HOME=/usr/local/storm
export PATH=$PATH:$JAVA_HOME/bin: $STORM_HOME/bin:$ZOOKEEPER_HOME/bin
更新环境变量:
source ~/.bashrc
Storm 集群模式配置
切记:配置 storm.yaml 文件时一定要每一行前面都留一个空格,
且冒号后面也要留个空格。
打开 Storm 配置文件
cd $STORM_HOME\conf
vim storm.yaml
修改配置文件
下面 java.library.path 的值的获取办法跟【添加相关路径】步骤中的方式一样
storm.zookeeper.servers:
- "localhost"
storm.zookeeper.port: 2181
nimbus.host: " localhost"
nimbus.thrift.port: 6627
ui.port: 8227
storm.local.dir: "/usr/local/storm/data"
java.library.path: "/usr/lib/jvm/java-7-openjdk-amd64"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
localhost 表示本机 IP 地址,也可以替换成具体的 IP 地址。
通过 ifconfig 命令获取 IP 地址
具体的配置文件见【storm 示例配置文件.yaml】
启动 Storm
首先,启动集群ZooKeeper:
zkServer.sh start
启动 Nimbus 节点,打开一个终端,输入:
storm nimbus
启动Supervisor 节点,打开另一个终端,输入:
storm supervisor
启动 storm ui,打开第三个终端,输入:
storm ui
然后用浏览器打开http://192.168.204.140:8227查看storm ui
这里的 IP 地址 192.168.204.140 是 storm.yaml 里面配置的那个地址。
使用jps命令查看启动的进程信息:
jps
core 表示 storm ui
QuorumPeerMain 表示 zookeeper
Storm 的 UI 界面如下图所示。