Storm的安装与配置

说在前面

• 工作环境：VMware® Workstation 12 Pro 12.5.6 build-5528349
• linux版本：CentOS-7-x86_64-Minimal-1611.iso
• JDK版本：jdk-8u65-linux-x64.tar.gz
• Hadoop版本：hadoop-2.7.6.tar.gz
• Zookeeper版本：zookeeper-3.4.12.tar.gz
• Storm版本：apache-storm-1.1.3.tar.gz

Storm的安装配置

Storm集群节点：s201，s202，s203，s204。s201为master(nimbus)，其他节点为执行节点(Supervisor)

• 下载：apache-storm-1.1.3.tar.gz

• 解压并创建符号链接(s201节点)

//解压
$> tar -xzvf /mnt/hgfs/bigdata/soft/apache-storm-1.1.3.tar.gz -C /soft

//创建符号链接
$> ln -s /soft/apache-storm-1.1.3/ storm

• 在 /etc/profile 文件中配置环境变量，source profile文件立即生效

# storm
export STORM_HOME=/soft/storm
export PATH=$PATH:$STORM_HOME/bin

//检查是否安装成功
$> storm version

• 分发给其他三台主机节点(s202，s203，s204)

//分发文件
$> scp apache-storm-1.1.3 centosmin0@s202:/soft/
$> scp apache-storm-1.1.3 centosmin0@s203:/soft/
$> scp apache-storm-1.1.3 centosmin0@s204:/soft/

//分发符号链接
$> rsync -lr *storm* centosmin0@s202:/soft/
$> rsync -lr *storm* centosmin0@s203:/soft/
$> rsync -lr *storm* centosmin0@s204:/soft/

//修改每台主机中的 profile 配置文件

完全分布式配置

• 进入 /soft/storm/conf 目录下，对 storm.yaml 进行如下配置(主机：s201)

storm.local.dir: "/home/centosmin0/storm"

storm.zookeeper.servers:
     - "s201"
     - "s202"
     - "s203"

storm.zookeeper.port:2181

nimbus.seeds: ["s201"]

ui.host: 0.0.0.0
ui.port: 8080

supervisor.slots/ports:
    - 6700
    - 6701
    - 6702
    - 6703

• 分发给其他主机节点：s202，s203，s204

• 启动集群

  • 启动ZooKeeper集群：zkServer.sh start(s201，s202，s203)

  • 启动主机s201的 nimbus进程

  $> bin/storm nimbus
  

  • 启动s202 ~ s204 supervisor进程

  $> bin/storm supervisor
  

  • 启动s201d的webui进程

  $> bin/storm ui
  

进程如下：

• 在 webui 中查看：http://s201:8080/