Storm 完全分布式搭建

主机配置

  执行命令 : hostname 查当前主机名称。
  执行命令 : vim /etc/hostname 修改当前主机名，修改文件内容为要修改的名称。
  例：

原名称(根据机器确定):localhost
改为:master

  重复上面步骤修改其他机器主机名称，集群主机名称分别修改为master、slave1、slave2。

  执行命令 : ifconfig 查看当前主机ip。

>> ifconfig

  执行命令 : vim /etc/hosts 配置所有主机名称和对应ip到文件中,(每台机器都要配置)如下。

# 主机ip请根据查询到的为主
192.168.0.2 master
192.168.0.3 slave1
192.168.0.4 slave2

  执行命令 : ping slave1 或其他主机检查是否配置成功。

>> ping slave1

免密配置

  在master上执行命令 : ssh-keygen -t rsa 出现提示按回车即可。

>> ssh-keygen -t rsa

  在master上执行命令 : ssh-copy-id master 拷贝秘钥到集群主机中，包括主机节点。

>> ssh-copy-id master
>> ssh-copy-id slave1
>> ssh-copy-id slave2

搭建Zookeeper集群

  执行命令 : cd /data/software/ 进入安装包目录。

>> cd /data/software/

  执行命令: ls 查看目录下安装文件是否存在zookeeper-3.4.6.tar.gz。

>> ls

  执行命令 : tar -zxvf ./zookeeper-3.4.6.tar.gz -C /data/bigdata，解压zookeeper-3.4.6.tar.gz到/data/dataset/目录中。

>> tar -zxvf ./zookeeper-3.4.6.tar.gz -C /data/bigdata

  执行命令 : cd /data/bigdata/ 切换目录到/data/bigdata/。

>> cd /data/bigdata

  执行命令 : mv zookeeper-3.4.6/ zookeeper，对解压后的包进行重新命令。

>> mv zookeeper-3.4.6/ zookeeper

  执行命令 : cd /zookeeper/conf/ 目录中。
  再执行命令 ：cp zoo_sample.cfg zoo.cfg 拷贝默认配置模板并命令为 zoo.cfg。

>> cd ./zookeeper/conf/
>> cp zoo_sample.cfg zoo.cfg

  执行命令 ：vim zoo.cfg，添加配合如下配置到文件中并保存。

server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

  拷贝zookeeper到其他机器上。

>> scp /data/bigdata/zookeeper slave1:/data/bigadata/
>> scp /data/bigdata/zookeeper slave2:/data/bigadata/

  在三台主机分别操作
  执行命令 ：cd /tmp/zookeeper 目录中。
  再执行命令 ：echo 1 > myid 添加当前zookeeper服务id。

# 注意：要保证每台机器 /tmp/zookeeper 目录存在，不存在请创建(mkdir /tmp/zookeeper)。
# master主机 执行
>> echo 1 > myid

# slave1主机 执行
>> echo 2 > myid

# slave2主机 执行
>> echo 1 > myid

  执行命令 : vim /etc/profile，进入配置文件，添加如下Zookeeper环境变量到文件中并保存。
  注意每台主机都要配置

# Zookeeper
export ZOOKEEPER_HOME=/data/bigdata/zookeeper/
export PATH=$PATH:$ZOOKEEPER_HOME/bin

  执行命令 : source /etc/profile 是环境配置生效。

>> source /etc/profile

  执行命令 : zkServer.sh start 启动zookeeper。
  每台机器都要启动。

>> zkServer.sh start

安装Storm

  执行命令 : cd /data/software/ 进入安装包目录。

>> cd /data/software/

  执行命令: ls 查看目录下安装文件是否存在apache-storm-2.1.0.tar.gz。

>> ls

  执行命令 : tar -zxvf ./apache-storm-2.1.0.tar.gz -C /data/bigdata，解压apache-storm-2.1.0.tar.gz到/data/dataset/目录中。

>> tar -zxvf ./apache-storm-2.1.0.tar.gz -C /data/bigdata

  执行命令 : cd /data/bigdata/ 切换目录到/data/bigdata/。

>> cd /data/bigdata

  执行命令 : mv apache-storm-2.1.0 storm，对解压后的包进行重新命令。

>> mv apache-storm-2.1.0 storm

  执行命令 : cd storm/conf/ 目录下。
  执行命令 : vim storm.yaml 添加如下配置到文件中。
  执行命令 : mkdir /data/bigdata/storm/status 创建storm状态存储目录。

storm.zookeeper.servers:
      - "master"
      - "slave1"
      - "slave2"
storm.local.dir: "/data/bigdata/storm/status"
nimbus.seeds: ["master"]
supervisor.slots.ports:
      - 6700
      - 6701
      - 6702
      - 6703

  执行命令 : scp /data/bigdata/storm slave1:/data/bigdata/ 拷贝storm到其他机器目录下。

>> scp /data/bigdata/storm slave1:/data/bigdata/
>> scp /data/bigdata/storm slave2:/data/bigdata/

  分别配置每台机器的配置文件,添加Storm的环境变量。
  执行命令 : vim /etc/profile，进入配置文件，添加如下storm环境变量到文件中并保存。

#Storm
export STORM_HOME=/data/bigdata/storm
export PATH=$PATH:$STORM_HOME/bin

  执行命令 : source /etc/profile，是配置文件立即生效。

>> source /etc/profile

  在master上执行命令 : nohup storm nimbus & 启动Storm nimbus。

>> nohup storm nimbus &

  在slave1和slave2上执行命令 : nohup storm supervisor &。

>> nohup storm supervisor &

  执行命令 : jps 查看每台机器服务是否启动。

>> jps