源码
dabokele
这个作者很懒,什么都没留下…
展开
-
Spark调度模式-FIFO和FAIR
Spark中的调度模式主要有两种:FIFO和FAIR。使用哪种调度器由参数spark.scheduler.mode来设置,默认为FIFO原创 2016-05-28 18:12:10 · 25500 阅读 · 6 评论 -
Hadoop-2.X HA模式下的FSImage和EditsLog合并过程
Hadoop-2.X中HA模式下FSImage和EditsLog的checkpoint操作过程分析原创 2016-06-15 23:57:11 · 7176 阅读 · 3 评论 -
Spark-1.6.0之Application运行信息记录器JobProgressListener
JobProgressListener类是Spark的ListenerBus中一个很重要的监听器,可以用于记录Spark任务的Job和Stage等信息,比如在Spark UI页面上Job和Stage运行状况以及运行进度的显示等数据,就是从JobProgressListener中获得的。本文主要分析了JobProgressListener的结构,以及数据生产和消费的过程。原创 2016-07-05 23:42:21 · 5856 阅读 · 0 评论 -
Spark Scheduler模块源码分析之TaskScheduler和SchedulerBackend
本文是Scheduler模块源码分析的第二篇,第一篇Spark Scheduler模块源码分析之DAGScheduler主要分析了DAGScheduler。本文接下来结合Spark-1.6.0的源码继续分析TaskScheduler和SchedulerBackend。原创 2016-07-17 13:59:15 · 8274 阅读 · 3 评论 -
Spark Scheduler模块源码分析之DAGScheduler
本文主要结合Spark-1.6.0的源码,对Spark中任务调度模块的执行过程进行分析,分析了Scheduler模块中DAGScheduler的作用,构成,以及Stage划分和Stage最终的提交过程。原创 2016-07-13 23:47:28 · 13928 阅读 · 10 评论 -
Spark UI界面原理
本文以Spark-1.6.0源码为基础,分析了Spark UI界面的框架构成,及页面数据展示方法。原创 2016-07-06 23:21:51 · 21595 阅读 · 0 评论 -
Spark-1.6.0中的Sort Based Shuffle源码解读
Spark-1.6.0源码中默认的Sort Based Shuffle, Shuffle Write和Shuffle Read过程分析。原创 2016-05-25 23:22:40 · 9902 阅读 · 1 评论 -
Spark内存管理-UnifiedMemoryManager和StaticMemoryManager
在Spark-1.6.0中,引入了一个新的参数spark.memory.userLegacyMode(默认值为false),表示不使用Spark-1.6.0之前的内存管理机制,而是使用1.6.0中引入的动态内存分配这一概念。 从SparkEnv.scala的源码中可以看到,该参数设置为true或false,主要影响到构造memoryManager的类的不同:val useLegacyMemoryM原创 2016-05-22 16:01:54 · 12278 阅读 · 8 评论