• 我的消息
  • 我的博客
  • 我的学院
  • 我的下载
  • 我的收藏
  • 消息
  • 搜索条件:
    点击返回全部
    全部文章 > {categoryName }
    • spark join shuffle 数据文件的读取

      spark join shuffle 数据文件的读取我们看下在shuffle过程中数据文件的读取过程中调用的类对象// 下面就是对这个shuffler中的分片数据进行读取并进行相关的aggregate...

      原创
      2017-10-19 16:53:32
      108
      0
    • spark join shuffle 数据读取的过程

      spark join shuffle 数据读取的过程在spark中,当数据要shuffle时,这个拉取过程RDD是怎么和ShuffleMapTask 关联起来的。 在CoGroupedRDD通过调用...

      原创
      2017-10-18 18:22:06
      72
      0
    • spark RDD join的核心过程

      spark RDD join的核心过程spark join的过程是查询过程中最核心的过程,怎么做到实现两个表的关联查询耗费资源最少。可看源码如下 join的实现在 PairRDDFunctions类...

      原创
      2017-10-18 14:52:18
      110
      0
    • spark task 任务状态管理

      spark task 任务状态管理spark task 的任务状态经常进行更新,当任务完成后,这个任务是怎么取得结果的呢,看下面的代码流程def statusUpdate(tid: Long, sta...

      原创
      2017-10-16 19:59:25
      85
      0
    • spark RDD action job的提交过程之 taskSchedule

      spark RDD action job的提交过程之 taskSchedule 在TaskSchedulerImpl中,有接收task 任务的接口 override def submitTasks(...

      原创
      2017-10-13 11:26:30
      73
      0
    • spark RDD action job的提交过程

      spark RDD action job的提交过程 以RDD的 count()方法的例子为例,来演示 dag生成提交的过程。def count(): Long = sc.runJob(this, Ut...

      原创
      2017-10-12 20:05:45
      72
      0
    • spark work ResultTask 源码分析

      spark work task 源码分析rdd在各个 CoarseGrainedExecutorBackend 进程中,经典的业务执行过程private[spark] class ResultTask...

      原创
      2017-10-10 10:53:45
      59
      0
    • spark work task 源码分析

      spark work task 源码分析spark 的task 主要以ShuffleMapTask为主,这个类就是在 任务的driver中进行生成然后序列化传输到 work 的CoarseGrain...

      原创
      2017-09-30 19:20:56
      105
      0
    • spark 业务执行进程

      spark 业务执行进程spark的task的业务执行进程的入口类为 CoarseGrainedExecutorBackend通过接收相关的参数调用如下的入口,然后进行创建相关的类

      原创
      2017-09-30 11:43:40
      72
      0
    • java concurrent 包的基石 volatile 和 锁的原理分析

      java concurrent 包的基石 volatile 和 锁的原理分析在concurrent包中,用到很多的锁,如 ReentrantLock锁,里面的核心原理是通过 volatile 的和...

      原创
      2016-09-02 14:47:52
      493
      0
  • 学院
  • 下载
  • 消息