Java大数据实战 Storm构建实时流处理之分组策略

分组策略：一个流定义分组的策略更好的传输到task里面去进行处理。常见的分组策略(shuffle grouping,fields grouping,all grouping)

随机分组（Shuffle Grouping）是最常用的流分组方式，它随机地分发元组到Bolt上的任务，这样能保证每个任务得到相同数量的元组。

fieldsGrouping，也就是按字段进行分组,相同的指定字段的值都会分到同一个组里面。
allGrouping: 将所有的 tuple 复制后分发给所有 bolt task。每个订阅数据流的 task 都会收到 tuple 的拷贝。

数据倾斜是指：mapreduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行不完。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的分配到各个reduce中，就是解决数据倾斜的根本所在。

如果确认业务需要这样倾斜的逻辑，考虑以下的优化方案：
1）对于join，在判断小表不大于1G的情况下，使用map join（使数据更均匀的分布到reduce中去）
2）对于group by或distinct，设定 hive.groupby.skewindata=true