本文介绍了Storm中Stream分组的多种方式，包括Shuffle、Fields、All、Global、None、Direct和Local or shuffle等，并详细解释了每种分组的特性。Shuffle分组确保数据均匀分布，Fields分组基于特定字段值进行分发，All分组将数据发送到所有Task，Global分组选择一个Task，None分组类似Shuffle，Direct分组允许自定义分发，而Local or shuffle分组则考虑了Task在同一Worker进程的情况。Stream分组对于Storm topology的性能和正确性至关重要。
Stream分组，即消息的分区（partition）方法。Storm中提供若干种实用的分组方式，包括Shuffle、Fields、All、Global、None、Direct和Local or shuffle等。
除了在Storm中内置的7中分组方式，也可以通过实现CustomStreamGrouping接口来定义自己的分组。
（1）Shuffle分组：Task中的数据随机分配，可以保证同一级Bolt上的每个Task处理的Tuple数量一致。
（2）Fields分组：根据Tuple中的某一个Field或者多个Field的值来划分。比如Stream根据user-id的值来分组，具有相同user-id值的Tuple会被分发到相同的Task中。
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
