- 博客(3)
- 收藏
- 关注
原创 spark源码分析之任务提交(二)newStage方法及Stage划分分析
上一节中介绍了调用了RDD的collect的方法后的一些执行流程,首先调用一系列SparkContext的runJob的重载方法。然后调用DAGScheduler的rubJob方法,此方法主要调用submitJob方法,用来将一个Job提交到job Schedular。DAGScheduler的handleJobSubmitted方法用于处理提交的job,其中很重要的一步就是创建finalStag
2017-05-01 16:01:29
434
原创 spark源码分析之任务提交(一)Rdd#collect方法分析
本文分析调用RDD的collect方法后的任务提交流程。RDD的collect方法调用了SprakContext的runJob方法,之后又调用了重载的runJob方法,然后调用DAGSchulder的runJob方法,然后调用submitJob方法。调用顺序如下。RDD#collect()SprakContext#runJob[T,U: ClassTag](rdd: RDD[T],
2017-05-01 12:34:12
399
原创 前端面试题整理
1.你能描述当你制作一个网页的工作流程吗?内容分析:分清展现在网络中内容的层次和逻辑关系结构设计:写出合理的html结构代码布局设计:使用html+css进行布局样式设计:首先要使用reset.css交互设计:鼠标特效行为设计:js代码,ajax页面行为和从服务器获取数据测试兼容性;优化性能。2.假若你有5 个不同的样式文件(stylesheets), 整合进网站的
2017-02-20 13:19:38
1511
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人