Spark——性能调优——执行模型与分区

一、序引
    考虑到性能问题，而言Spark基本原理、执行模型、描述数据被shuffle(洗牌)，乃是前提条件。
    掌握数据序列化，缓存机制，以及内存管理、垃圾回收，亦十分必须。
二、Spark执行模型
    在大言Spark应用的性能改善之前，十分有必要先了解Spark在集群上分布式执行程序的基础知识。
        →当启动一个Spark应用时，driver进程会随着集群worker节点上的一系列executor进程一起启动。
        →driver负责运行用户的应用程序，当有action被触发时，driver负责管理所需执行的所有工作。
        →同时，executor进程以任务(task)的形式执行实际的工作以及保存结果。
        →问题：这些任务是如何分配给executor？
    对于Spark应用内部触发的每个action，DAG调度器都会创建一个执行计划来完成它。
        →执行计划：将尽可能多的窄依赖(narrow dependency)转换(transformation)装配到各步骤(stage)中。
        →RDD间的窄依赖是指父RDD的每一个分区最多能被一个子RDD的分区使用。
        →当有一些宽依赖需要做shuffle操作时，stage会受限制。
        →当多个子RDD的分区使用同一个父RDD的分区时，RDD间就会产生宽依赖。
        →事实上，stage是一组任务，对数据的不同子集执行相同转换(transformation)。任务调度器将基于可用资源及数据局c部性把这些任务分配给executor。
三、分区
    分区可极大地影响执行计划的创建方式 。因此，会间接影