Spark RDD在saveAsTextFile时直接保存成一个txt文件

在该语句之前加上repartition(1)，即写作以下形式：
rdd.repartition(1).saveAsTextFile("out.txt")即，之前每个partition保存成一个txt文件，现repartition成一个分区，然后再保存。

注意（未验证）：这个操作对于大文件来说，repartition(1)可能会导致某一个节点内存不足，超出的部分会临时存放在硬盘中，影响saveAsTextFile存储速度。

转载于:https://www.cnblogs.com/kevingu/p/4632351.html