- 博客(3)
- 收藏
- 关注
RSS订阅原创 spark源码分析之任务提交（二）newStage方法及Stage划分分析
上一节中介绍了调用了RDD的collect的方法后的一些执行流程，首先调用一系列SparkContext的runJob的重载方法。然后调用DAGScheduler的rubJob方法，此方法主要调用submitJob方法，用来将一个Job提交到job Schedular。DAGScheduler的handleJobSubmitted方法用于处理提交的job，其中很重要的一步就是创建finalStag
2017-05-01 16:01:29
434
原创 spark源码分析之任务提交（一）Rdd#collect方法分析
本文分析调用RDD的collect方法后的任务提交流程。RDD的collect方法调用了SprakContext的runJob方法，之后又调用了重载的runJob方法，然后调用DAGSchulder的runJob方法，然后调用submitJob方法。调用顺序如下。RDD#collect()SprakContext#runJob[T,U: ClassTag](rdd: RDD[T],
2017-05-01 12:34:12
399
原创 前端面试题整理
1.你能描述当你制作一个网页的工作流程吗？内容分析：分清展现在网络中内容的层次和逻辑关系结构设计：写出合理的html结构代码布局设计：使用html+css进行布局样式设计：首先要使用reset.css交互设计：鼠标特效行为设计：js代码，ajax页面行为和从服务器获取数据测试兼容性；优化性能。2.假若你有5 个不同的样式文件(stylesheets), 整合进网站的
2017-02-20 13:19:38
1511
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人