Storm并行度和流分组详解

并行度

对于一个拓扑来说,并行度其实就是task,task是最小的计算单元,每个spout/bolt的相关代码副本都会运行在一个task中。并不是executor,因为默认情况下一个executor只有一个task,executor的数量和task是相等的。


流分组

流分组表示task与task之间数据流向的关系。如果bolt1有三个task会将数据流向到下游同样三个task的bolt2。以下为比较常用的分组策略:

  • Shuffle Grouping: 随机发射,负载均衡
    如果bolt1的一个task发射三条数据,那么每条数据会流向bolt2中的不同的task来达到负载均衡
  • Fields Grouping: 根据某一个,或者某些个字段fields进行分组
    task发射的每条数据称为tuple,tuple可以由很多个field组成,通过一个或者几个field进行分组,同一组中的这些fields是相同的,那么这组数据会流向同一个bolt2中的一个task
  • All Grouping: 一个task发射的数据会全部流向下游的每个task
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值