前面 介绍了SortShuffleWriter insertAll的步骤,主要记录一个task处理rdd中的某个分区中的数据的过程。 本篇主要结束将insertAll后的数据生成一个排序好的文件。主要记录了大概的过程以及学习的过程中自己的一些总结(该文章主要是作为自己的学习笔记使用,内容较为简单,可能只能自己看懂吧)
学习笔记-SortShuffleWriter之writePartitionedFile
最新推荐文章于 2024-04-25 15:22:25 发布
前面 介绍了SortShuffleWriter insertAll的步骤,主要记录一个task处理rdd中的某个分区中的数据的过程。 本篇主要结束将insertAll后的数据生成一个排序好的文件。主要记录了大概的过程以及学习的过程中自己的一些总结(该文章主要是作为自己的学习笔记使用,内容较为简单,可能只能自己看懂吧)