前面 介绍了SortShuffleWriter insertAll的步骤，主要记录一个task处理rdd中的某个分区中的数据的过程。 本篇主要结束将insertAll后的数据生成一个排序好的文件。主要记录了大概的过程以及学习的过程中自己的一些总结(该文章主要是作为自己的学习笔记使用，内容较为简单，可能只能自己看懂吧)
学习笔记-SortShuffleWriter之writePartitionedFile
本文介绍了一个task如何处理RDD分区中的数据，并详细记录了通过SortShuffleWriter的insertAll过程后，如何生成一个排序好的文件。作为学习笔记，内容较为简单，侧重于个人理解与总结。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
