storm的流分组策略

关于storm的基础,参照我这篇文章:流式计算storm
关于并发和并行,参照我这篇文章:并发和并行
关于storm的并行度解释,参照我这篇文章:storm的并行度解释
关于storm的流分组策略,参照我这篇文章:storm的流分组策略
关于storm的消息可靠机制,参照我这篇文章:storm的消息可靠机制

storm中有多个bolt和多个spout,他们之间会有多种连接方式,他们之间的tuple也是多种传递方式,正是有了这些灵活的分组策略,才使得storm可以分层处理,每层bolt都只做自己的事情,做完就通过分组策略传给下一层bolt

storm里面有7种 stream grouping

github上有源码:https://github.com/apache/storm
最好是下载到本地,对着下面提供的看.

这7中storm对应的接口是:

org.apache.storm.topology.InputDeclarer<T extends InputDeclarer>

1.shuffle grouping

org.apache.storm.grouping.ShuffleGrouping

随机分组,保证每个bolt任务被均匀的分配tuple

2.fields grouping

org.apache.storm.trident.partition.IndexHashGrouping

按字段分组,相同字段的tuple总是被分到相同的bolt中的一个task上,一般用在计数等

3.all grouping

广播发送tuple,tuple会被发给所有bolt,常用来发送信号

4.global grouping

org.apache.storm.trident.partition.GlobalGrouping

全局分组,所有的tuple被发到一个bolt的一个task上,一般用来汇总

5.none grouping

org.apache.storm.testing.NGrouping

不分组,效果和随机分组一样,
有点不一样的是storm会使用none grouping的这一个bolt放到这个bolt的订阅者同一个线程里面去执行 ( 这个暂时没明白有什么好处之类的 )

6.direct grouping

org.apache.storm.trident.partition.IdentityGrouping

直接分组消息发送者指定消息接收者的哪个task处理这个消息，只有被表名direct stream的消息流可以处理这个方法
消息处理者可以通过topologyContext来获取处理它消息的task id

7.local or shuffle grouping

org.apache.storm.grouping.LoadAwareShuffleGrouping

自定义分组,需实现customStreamGrouping接口