spark学习-32-SparkEnv的构造步骤

最新推荐文章于 2024-09-15 16:13:23 发布

九师兄

最新推荐文章于 2024-09-15 16:13:23 发布

阅读量786

点赞数

分类专栏：大数据-spark 文章标签： spark SparkEnv 构建构建过程

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/78559977

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

本文详细剖析了SparkEnv的构造步骤，从源码层面探讨了Spark环境初始化的关键环节，对于理解和使用Spark有着重要的指导意义。

摘要由CSDN通过智能技术生成

在这里插入图片描述
1.看代码

 /**
   * Helper method to create a SparkEnv for a driver or an executor.
    * 辅助方法来创建一个驱动程序或执行器sparkenv。
    *
    * SparkEnv的构造步骤如下：
    *     1.创建安全管理器SecurityManager
    *     2.创建给予AKKa的分布式消息系统ActorSystem;
    *     3.创建Map任务输出跟踪器mapOutputTracker;
    *     4.实例化ShuffleManager;
    *     5.创建ShuffleMemoryManager;
    *     6.创建块传输服务BlockTransferService;
    *     7.创建BlockManagerMaster;
    *     8.创建块管理器BlockManager;
    *     9.创建广播管理器BroadcastManager;
    *     10.创建缓存管理器CacheManager;
    *     11.创建HTTP文件服务器HttpFileServer;
    *     13.创建输出提交控制器OutputCommitCoordinator;
    *     14.创建SparkEnv;
   */
  private def create(
      conf: Spark

了解本专栏