Storm学习

        虽然这两个框架都提供可扩展性和容错性,它们根本的区别在于他们的处理模型。而Storm处理的是每次传入的一个事件,而Spark Streaming是处理某个时间段窗口内的事件流。因此,Storm处理一个事件可以达到秒内的延迟,而Spark Streaming则有几秒钟的延迟。


Storm 组件:

    主从结构: 主为Nimbus,从为Supervisor      通过zookeeper管理。

    主单点的活比较轻,只负责管理。Supervisor管理worker干活。他也不负责数据计算与数据传输。

有些人认为:Storm的数据传输,数据通信是由worker开进行。这是不合理,他们提出数据通信有一个中间件来进行。因此有了Heron,使用Supervisor复用负责数据传输。

除此之外还有一个DRPC组件、还有GUI来监控Storm。


Storm作业提交流程:

1.用Storm的api写一个作业,称之为Topolgy

2.使用client提交Topology给Nimhus

3.分配task给Supervisor

4.supervisor为task启动worker

5.worker执行task


作业=Topolgy  :Topolgy由数据源节点Spout与普通计算节点Bolt组成,还有一些边数据流Stream(在流里面的每一条记录称之为Tuple)。组成一个计算拓扑图。 




这里是一个bolt链,不断的处理数据,bolt可以随时写数据到外部数据源中

数据传输的tuple可以grouping,也就是安装一定规则或者随机传输。



API

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值