1、构建spark application运行环境,创建sparkContext对象,SparkContext对象向资源管理器申请运行excuter的资源;
2、资源管理器分配运行excuter的资源,并且excuter与资源管理器保持心跳。
3、sparkContext构建DAG图,通过DAGScheduler进行Stage划分,并且将stage发送给TaskScheduler
4、TaskScheduler将TaskSet发送给Excutor去执行;
5、excutor执行完成后进行资源释放。
spark运行过程
最新推荐文章于 2023-04-16 17:51:37 发布