- 博客(1)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 大数据面试题总结
1.Spark运行原理 启动一个driver进程 ，用于控制整个流程 当任务提交，首先会去向资源管理器–yarn,申请Executor资源， 根据sparkContext获取运行环境，然后Driver会从程序倒着构建成DAG图，在将按照宽窄依赖减DAG图分解成stage，然后将Taskset发送给Task Scheduler 会将task 分给每一个stage ,最后将task发送给exec...
2019-10-21 13:40:11
783
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人