一、环境准备
操作系统: CentOS7.0
Zookeeper版本:zookeeper-3.4.10
Storm版本:apache-storm-1.1.0
JDK版本:jdk1.8.0_77
集群配置如下:
二、前提条件
2.1.安装配置JDK1.8
CentOS7安装JDK1.8
2.2.安装配置Zookeeper集群
CentOS7安装配置zookeeper集群
2.3.下载Apache Storm
- wget https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.1.0/apache-storm-1.1.0.tar.gz
- 也可以xshell上传本地其他版本安装包
cd /usr/local/ mkdir storm
cd /usr/local/storm tar -zxvf apache-storm-1.1.0.tar.gz
- 配置环境变量
[root@ hp1~]# vim /etc/profile
#添加以下配置
# storm-1.1.0
export STORM_HOME=/usr/local/storm/apache-storm-1.1.0
export PATH=$PATH:$STORM_HOME/bin
#使修改生效
[root@ hp1~]# source /etc/profile
#验证
[root@ hp1~]# echo $STORM_HOME
/usr/local/storm/apache-storm-1.1.0
- 配置storm.yaml
#进入$STORM_HOME目录
[root@hp1 ~]# cd $STORM_HOME
#创建目录
[root@hp1 storm]# mkdir -p data
#进入配置文件目录
[root@hp1 data]# cd $STORM_HOME/conf
#修改配置文件storm.yaml
[root@hp1 conf]# vim storm.yaml
#修改的配置项如下
storm.zookeeper.servers:
- "192.168.0.128"
- "192.168.0.129"
- "192.168.0.130"
nimbus.seeds: ["192.168.0.128"]
storm.zookeeper.port: 2181
storm.local.dir: "/usr/local/storm/apache-storm-1.1.0/data"
三、安装依赖库
[root@hp1 ~]# yum install libtool -y
[root@hp1 ~]# yum -y install gcc
[root@hp1 ~]# yum -y install gcc-c++
[root@hp1 ~]# yum -y install make
[root@hp1 ~]# yum -y install uuid-devel
[root@hp1 ~]# yum -y install libuuid-devel
[root@hp1 ~]# yum -y install e2fsprogs-devel
四、下载libsodium
cd /usr/local mkdir libsodium
[root@hp1 libsodium]# wget https://download.libsodium.org/libsodium/releases/libsodium-1.0.10.tar.gz
#解压
[root@hp1 libsodium]# tar -zxvf libsodium-1.0.10.tar.gz
#进入到目录
[root@apollo libsodium]# cd/usr/local/libsodium/libsodium-1.0.10
#编译
[root@hp1 libsodium-1.0.10]# ./autogen.sh
[root@hp1 libsodium-1.0.10]# ./configure
[root@hp1 libsodium-1.0.10]# make
[root@hp1 libsodium-1.0.10]# make install
五、安装ZeroMQ
cd /usr/local mkdir zeroMQ
wget https://github.com/zeromq/libzmq/releases/download/v4.2.1/zeromq-4.2.1.tar.gz
tar -zxvf zeromq-4.2.1.tar.gz
cd /usr/local/zeroMQ/zeromq-4.2.1
./autogen.sh
./configure PKG_CONFIG_PATH="/usr/local/lib/pkgconfig"
make
make install
六、安装jzmq
cd /usr/local mkdir jzmq
#如果没有安装git
[root@hp1 zeromq]# yum -y install git
#git clone jzmq
[root@hp1 zeromq]# git clone git://github.com/zeromq/jzmq.git
#进入目录jzmq/jzmq-jni
[root@hp1 zeromq]# cd /usr/local/jzmq/jzmq-jni
#编译
[root@hp1 jzmq-jni]# ./autogen.sh
[root@hp1 jzmq-jni]# ./configure
七、拷贝文件到其余工作节点
注:在拷贝文件前,3~6的所有步骤都要在从机上完成
[root@ hp1 local]# cd /usr/local/
scp -r storm/ hp2:$PWD
scp -r storm/ hp3:$PWD
八、配置项说明
1.storm.zookeeper.servers:表示zookeeper的集群地址,如果Zookeeper集群使用的不是默认端口,那么还需要配置storm.zookeeper.port
2.storm.zookeeper.port: Zookeeper集群的端口号
3.storm.local.dir: 用于配置Storm存储少量文件的路径
4.nimbus.seeds: 用于配置主控节点的地址,可以配置多个
九、启动Storm
9.1. 启动主控节点
[root@ hp1 ~] # cd /usr/local/storm/apache-storm-1.1.0/bin
storm nimbus &
9.2.启动工作节点
[root@ hp2 ~]# cd /usr/local/storm/apache-storm-1.1.0/bin
storm supervisor &
[root@ hp3 ~]# cd /usr/local/storm/apache-storm-1.1.0/bin
storm supervisor &
9.3.启动管理页面
[root@ hp1 ~] # cd /usr/local/storm/apache-storm-1.1.0/bin
storm ui &
9.4.在管理页面上查看storm集群情况