大数据之spark数据分区

1. 为什么要分区

• spark可以通过分区来减少网络通信开销：
• 分区并非对于所有场景都是有好处的：

若给定RDD只被扫描一遍，那么完全没必要做分区，只有当数据多次在诸如链接这种基于键的操作
时，分区才会有帮助。

2. 举例说明：

假设我们有一份不变的大文件userData，以及每5分钟产生的小数据events，现要求：每5分钟产
出events数据 ,userData对events做一次join操作

默认情况：

• join操作会求两个RDD中的所有键的哈希值
• 将哈希值相同的记录通过网络传到同一台机器上
• 然后在那台机器上对所有键相同的记录进行连接
• 存在问题：
  每次调用时，都要对userData进行哈希值计算和跨节点数据混洗（shuffle），浪费资源和时间
• 解决方案：
  对userData进行分区和持久化
  由于对userData构造时指定了分区和持久化，调用join时，便不会重新对userData进行数据混洗了，只对events做shuffle, 将events中特定key对应的记录发送到userData的对应分区所在的机器上， 这样便大大减少了需要做网络通信的数据， 加快了程序运行时间。

参考资料