Repartition Join在Spark的缺点（简版）

100-300G/表，节点10x3核2.7GHz，1.6版，centos6

问题：

1.需要在查询时对参与两表连接的数据进行动态的重划分，网络和内存开销都很大，宽表的情况下，结构化数据中事实表和维度表i的数据通信量较大造成实时性差。

2.通过哈希函数划分到同一节点的很多事实表元组在外键上具有相同的值，CPU和内存消耗量较大。

解决：

1.事实表去重，数据块粒度的去重

2.设置并行度，一致性哈希数据划分

3.预先连接，按key快速分组并保留key

代码：

另