三、Storm架构及部署

本文详细介绍了Storm的架构,包括Nimbus、Supervisor和Worker的角色,并提供了在4台主机s100~s103上安装和配置Storm集群的步骤。在集群中,Nimbus负责任务分配,Supervisor执行具体工作,元数据存储在Zookeeper中。接着,文章展示了启动和验证安装的过程,包括配置storm.yaml、启动Nimbus、Supervisor、UI和Logviewer等进程。最后,讨论了如何将本地应用提交到集群运行以及使用`storm`命令管理topologies。
摘要由CSDN通过智能技术生成

1、Storm架构:

类似于Hadoop的架构,主从架构(master/slave)。

Nimbus--集群的主节点:负责任务(task)的指派和分发、资源的分配;

Supervisor--集群的从节点:负责任务的具体部分,启动和停止自己管理的worker;一个从节点可以通过配置启动多个worker进程,一个Topo也可以通过配置运行在多个worker进程上。

他们上面的信息(元数据)存储在zookeeper中。 

Worker: 运行具体组件逻辑(Spout/Bolt)的进程。                   //进程

task:对应于Spout和Bolt;一个worker可以运行多个task; //线程

          Worker中每一个Spout和Bolt的线程称为一个Task

executor: spout和bolt可能会共享一个线程                         //线程

2、安装Storm集群:

[s100 ~ s103]    //4台主机作为分布式安装

1.jdk

2.tar

tar -zxvf apache-storm-1.1.0.tar.gz  -C /soft    //分发

3.环境变量

sudo nano /etc/profile                          //四台机器都要配置

#storm

export STORM_HOME=/soft/storm

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值