spark任务运行源码
spark是一个分布式计算引擎,任务的运行是计算引擎的核心。
一个spark任务怎么能运行起来呢?
1 spark服务启动(Master,Worker):
2 应用程序提交
3 启动driver,executor
4 driver构建DAG,划分stage,task set分发
5 executor创建task执行,汇报执行状态
-----未完待续
spark任务运行源码
spark是一个分布式计算引擎,任务的运行是计算引擎的核心。
一个spark任务怎么能运行起来呢?
1 spark服务启动(Master,Worker):
2 应用程序提交
3 启动driver,executor
4 driver构建DAG,划分stage,task set分发
5 executor创建task执行,汇报执行状态
-----未完待续