我的大数据之路 -- storm-1.2.2 高可用安装。

storm简单理解

一、Storm集群架构

  • Nimbus :Storm集群的Master节点,负责分发用户代码,指派给具体的Supervisor节点上的Worker节点,去运行Topology对应的组件(Spout/Bolt)的Task。

  • Supervisor :Storm集群的从节点,负责管理运行在Supervisor节点上的每一个Worker进程的启动和终止。通过Storm的配置文件中的supervisor.slots.ports配置项,可以指定在一个Supervisor上最大允许多少个Slot,每个Slot通过端口号来唯一标识,一个端口号对应一个Worker进程(如果该Worker进程被启动)。

  • ZooKeeper :用来协调Nimbus和Supervisor,如果Supervisor因故障出现问题而无法运行Topology,Nimbus会第一时间感知到,并重新分配Topology到其它可用的Supervisor上运行。

集群规划

|Master| 192.168.23.200 |Zookeeper、nimbus、core
|Slave1| 192.168.23.201 |Zookeeper、Supervisor
|Slave2| 192.168.23.202 |Zookeeper、nimbus、core、Supervisor

安装

下载storm-1.2.2

  1. 压解到/user上

    tar -zxvf apache-storm-1.2.2.tar.gz -C /user
    
  2. 修改配置文件 conf/storm.yaml
    记得是有空格的哦!!前面也有,中间也有。

     storm.zookeeper.servers:  #zookeeper服务
     - "Master"
     - "Slave1"
     - "Slave2"
    
     storm.local.dir: "/user/storm-1.2.2/tmp"  #事先创建好
     
     nimbus.seeds: ["Master", "Slave2"] #高可用
     
     ##指定supervisor节点上,启动worker时对应的端口号,每个端口对应槽,每个槽位对应一个worker
     supervisor.slots.ports:
     - 6700
     - 6701
     - 6702
     - 6703
    
    
  3. 在Master主机上分发到其他两台主机

    scp -r storm-1.2.2/ hadoop@192.168.23.201:/user
    scp -r storm-1.2.2/ hadoop@192.168.23.202:/user
    
  4. 修改当前用户环境变量,三台机都要,比较方便

    vi ~/.bashrc
    ----------------------------
    PATH=/user/storm-1.2.2/bin:$PATH
    
  5. 启动,Master和Slave2

    nohup ./bin/storm nimbus &
    nohup ./bin/storm ui &
    
  6. 启动,Slave1和Slave2

    nohup ./bin/storm supervisor &
    nohup ./bin/storm supervisor &
    
  7. 启动,每台机都启动logviewer,可以选择不启。

    nohup sh storm logviewer &
    
  8. jps
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  9. 查看web UI

    Master

    在这里插入图片描述

    Slave2

    在这里插入图片描述

  10. 到此为止就安装成功了。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值