Spark算子[18]：saveAsTextFile、saveAsObjectFile 源码实例详解

1、saveAsTextFile

将此RDD保存为一个压缩文本文件，使用元素的字符串表示形式。

第一个参数：Path为保存的路径；
第二个参数：codec为压缩编码格式；

从源码中可以看到，saveAsTextFile函数是依赖于saveAsHadoopFile函数，由于saveAsHadoopFile函数接受PairRDD，所以在saveAsTextFile函数中利用rddToPairRDDFunctions函数转化为(NullWritable,Text)类型的RDD，然后通过saveAsHadoopFile函数实现相应的写操作。

def saveAsTextFile(path: String): Unit
def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit

/**
 * Save this RDD as a compressed text file, using string representations of elements.
 */
def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit = withScope {
  // https://issues.apache.org/jira/browse/SPARK-2075
  val nullWritableClassTag = implicitly[ClassTag[NullWritable]]
  val textClassTag = implicitly[ClassTag[Text]]
  val r = this.mapPartitions { iter =>
    val text = new Te