Spark算子[19]：saveAsHadoopFile、saveAsNewAPIHadoopFile 源码实例详解

saveAsHadoopFile、saveAsNewAPIHadoopFile两个算子来源于PairRDDFunctions。

---

saveAsHadoopFile

saveAsHadoopFile是将RDD存储在HDFS上的文件中，支持老版本Hadoop API。
可以指定outputKeyClass、outputValueClass以及压缩格式。
每个分区输出一个文件。

---

源码

/** saveAsHadoopFile */

def saveAsHadoopFile(
    path: String,
    keyClass: Class[_],
    valueClass: Class[_],
    outputFormatClass: Class[_ <: OutputFormat[_, _]],
    conf: JobConf = new JobConf(self.context.hadoopConfiguration),
    codec: Option[Class[_ <: CompressionCodec]] = None): Unit = self.withScope {
  //1、 配置hadoopConf
  val hadoopConf = conf
  hadoopConf.setOutputKeyClass(keyClass)
  hadoopConf.setOutputValueClass(valueClass)
  conf.setOutputFormat(outputFormatClass)
  //2、 配置压缩
  for (c <- codec) {
    hadoopConf.setCompressMapOutput(true)
    hadoopConf.set("mapred.output.compress", "true")
    hadoopConf.setMapOutputCompressorClass(c)
    hadoopConf.set("mapred.output.compression.codec", c.getCanonicalName)
    hadoopConf.set("mapred.output.compression.type", CompressionType.BLOCK.toString)
  }

  // Use configured output committer if already set
  if (conf.getOutputCommitter == null) {
    hadoopConf.setOutputCommitter(classOf[FileOutputCommitter])
  }

  // 如果推测执行开启，并且输出提交类名包含“Direct”，
  // 我们应该警告用户，如果他们使用的是直接输出提交者，他们可能会丢失数据。
  val speculationEnabled = self.conf.getBoolean("spark.speculation", false)
  val outputCommitterClass = hadoopConf.get("mapred.output.committer.class", "")