Spark-shuffle源码细读一:ShuffleManager

VIP文章太晚了困

已于 2022-02-01 13:38:30 修改

阅读量1.4k

点赞数

分类专栏： spark 文章标签： spark big data 大数据

于 2022-01-30 22:23:57 首次发布

本文链接：https://blog.csdn.net/The_Inertia/article/details/122753341

版权

@Author Jeffrey.miao
转载请标明出处: Spark-shuffle源码细读一:ShuffleManager_The_Inertia的博客-CSDN博客

欢迎关注个人知乎专栏：Spark源码学习成长 - 知乎

version:spark 3.0.1

ShuffleManager目前只有一个实现SortShuffleManager。分析其源码：

一.成员变量

1.taskIdMapsForShuffle

  /**
   * A mapping from shuffle ids to the task ids of mappers producing output for those shuffles.
   */
  private[this] val taskIdMapsForShuffle = new ConcurrentHashMap[Int, OpenHashSet[Long]]()

taskIdMapsForShuffle，记录了ShuffleId和其对应的taskIds的映射关系。