spark快速大数据分析（4）

调用reduceBykey()和foldBykey()会在为每个键计算全局的总结果之前先自动在每台机器上进行本地合并，用户不需要指定合并器。

每个RDD都有固定数目的分区，分区数决定了在RDD上执行操作时的并行度。（分区运行在集群中的不同节点上）

spark始终尝试根据集群的大小推断出一个有意义的默认值，但是有时候你可能要对并行度进行调优来获取更好的性能表现。

在分布式程序中，通信的代价是很大的，所以控制数据分布以获得最少的网络传输可以极大地提升整体性能。和单节点的程序需要为记录集选择合适的数据结构一样，Spark程序可以通过控制RDD分区方式来减少通信开销。分区并不是对所有应用都有好处，比如，如果给定RDD只需要被扫描一次，就没有必要预先进行分区处理。只有当数据集多次在诸如连接这种基于键的操作中使用时，分区才有帮助。