- 博客(3)
- 资源 (10)
- 问答 (1)
- 收藏
- 关注
原创 spark2.3源码分析之ResultTask读取并处理shuffle file的流程
ResultTask 概述 ResultTask 执行当前分区的计算,首先从ShuffleMapTask拿到当前partition的数据,会从所有的ShuffleMapTask都拿一遍当前的partition数据。最后合并所有的ResultTask输出结果,返回给driver application。 reducer task有几个特点: reducer的数量等于partition的数量. 每个reducer task只处理一个partition的数据量. 如果shuffleMapTask的数
2019-06-23 00:13:25 709
原创 spark2.3源码分析之submitTasks的流程
TaskSchedulerImpl 概述 不同类型的集群对应于不同的SchedulerBackend:YarnSchedulerBackend、StandaloneSchedulerBackend、LocalSchedulerBackend等。TaskSchedulerImpl为不同的SchedulerBackend处理相同的逻辑,例如决定任务之间的调度顺序等。 client端必须先调用Ta...
2019-06-22 13:26:56 954
原创 spark2.3源码分析之launchTask的流程
CoarseGrainedSchedulerBackend端 makeOffers()方法 核心流程如下: resourceOffer方法:处理新的executor加入; launchTask方法:构建task // Make fake resource offers on just one executor private def makeOffers(executorId:...
2019-06-21 00:45:10 743
viewpager实现页面导航之三
2015-07-22
viewpager与预编译的点布局实现页面导航效果
2015-07-20
导入第三方类库却出现the importXXX can not be resolved
2015-06-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人