Spark
文章平均质量分 66
内存计算
小刘新鲜事儿
这个作者很懒,什么都没留下…
展开
-
Spark任务提交流程
Driver在任务提交的本地机器上运行,Driver启动后会和ResourceManager通讯,申请启动ApplicationMaster;随后ResourceManager分配Container,在合适的NodeManager上启动ApplicationMaster,此时的ApplicationMaster的功能相当于一个ExecutorLaucher(加载器),只负责向ResourceManager申请Executor内存;原创 2023-05-06 15:43:04 · 535 阅读 · 0 评论 -
Spark任务执行流程
Driver启动,创建SparkContext SparkContext 向资源管理器注册,并向资源管理器申请运行 Executor 资源管理器分配启动 Executor 所需的资源,然后资源管理器启动 Executor Executor 发送心跳至资源管理器 Executor 向 SparkContext 注册自己,并向 SparkContext 申请 Task,等待 Task 提交 SparkContext 构建 DAG 有向无环图 将 DAG 分解成 Stage(TaskSet) 把 Stage原创 2023-05-03 17:16:18 · 2060 阅读 · 0 评论