Spark的shuffle的Shuffle read和shuffle write过程

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/lds_include/article/details/89278063

Spark的shuffle的Shuffle read和shuffle write过程

  • 在发生shuffle的过程中,会发生shuffle write和shuffle read。

  • shuffle write:发生在shuffle之前,把要shuffle的数据写到磁盘

    • 为什么:为了保证数据的安全性,避免占用大量的内存
  • shuffle read:发生在shuffle之后,下游RDD读取上游RDD的数据的过程

展开阅读全文

没有更多推荐了,返回首页