一、序引
考虑到性能问题,而言Spark基本原理、执行模型、描述数据被shuffle(洗牌),乃是前提条件。
掌握数据序列化,缓存机制,以及内存管理、垃圾回收,亦十分必须。
二、Spark执行模型
在大言Spark应用的性能改善之前,十分有必要先了解Spark在集群上分布式执行程序的基础知识。
→当启动一个Spark应用时,driver进程会随着集群worker节点上的一系列executor进程一起启动。
→driver负责运行用户的应用程序,当有action被触发时,driver负责管理所需执行的所有工作。
→同时,executor进程以任务(task)的形式执行实际的工作以及保存结果。
→问题:这些任务是如何分配给executor?
对于Spark应用内部触发的每个action,DAG调度器都会创建一个执行计划来完成它。
→执行计划:将尽可能多的窄依赖(narrow dependency)转换(transformation)装配到各步骤(stage)中。
→RDD间的窄依赖是指父RDD的每一个分区最多能被一个子RDD的分区使用。
→当有一些宽依赖需要做shuffle操作时,stage会受限制。
→当多个子RDD的分区使用同一个父RDD的分区时,RDD间就会产生宽依赖。
→事实上,stage是一组任务,对数据的不同子集执行相同转换(transformation)。任务调度器将基于可用资源及数据局c部性把这些任务分配给executor。
三、分区
分区可极大地影响执行计划的创建方式 。因此,会间接影
Spark——性能调优——执行模型与分区
最新推荐文章于 2023-09-21 10:37:54 发布
本文深入探讨Spark的执行模型,解释driver和executor的角色,以及DAG调度器如何创建执行计划。重点讨论分区对性能的影响,如何控制并行度,以及如何选择合适的分区器,如HashPartitioner和RangePartitioner,以优化Spark应用的性能。
摘要由CSDN通过智能技术生成