Spark源码
文章平均质量分 96
Spark源码分析
Southwest-
专注大数据领域(Spark、Flink、Hadoop生态、Kafka、数据仓库、数据中台...)
展开
-
Spark源码——Spark Task执行内存获取(Execution Memory)
文章目录原创 2020-12-20 22:42:35 · 790 阅读 · 0 评论 -
Spark源码——Spark内存模型分析(静态内存管理和统一内存管理)
Spark在1.6.0版本之前提供的是静态内存管理,实现类StaticMemoryManager;在1.6.0版本即之后默认的是统一内存管理,实现类是UnifiedMemoryManager。不管是静态内存管理还是统一内存管理,Spark内存都是被划分为执行内存区域(execution)和存储内存区域(storage)。execution内存主要用在shuffle、join、sort和aggre...原创 2020-04-15 22:11:57 · 481 阅读 · 0 评论 -
Spark源码——Spark on YARN Container资源申请分配、Executor的启动
文章目录Container资源申请分配Executor的启动Container资源申请分配Executor的启动原创 2021-03-07 22:09:41 · 1642 阅读 · 4 评论 -
Spark源码——Spark on YARN SparkSubmit初始化、ApplicationMaster的启动注册
文章目录流程图我们知道,在YARN资源管理上提交Spark应用程序之后,首先会执行以下步骤:第一步,启动ApplicationMaster第二步,ApplicationMaster启动之后,向ResourceManager申请资源(也就是需要的Container)第三步,在申请的Container中启动真正执行Task的Executor流程图...原创 2021-01-02 17:53:20 · 447 阅读 · 0 评论 -
Spark源码——Spark on YARN Executor执行Task的过程
文章目录入口点第一步:CoarseGrainedExecutorBackend main()和run()我们知道Spark中的Task是由Executor进程中执行的,那么Executor启动之后,具体是如何执行Task的呢?Executor执行Task的入口为object CoarseGrainedExecutorBackend。CoarseGrainedExecutorBackend是一个管理单个Executor的ExecutorBackend,它是在分配好的Container中其启动Executo原创 2020-12-06 17:33:04 · 587 阅读 · 0 评论