Spark算子：RDD行动Action操作(7)–saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset

最新推荐文章于 2021-04-25 11:36:33 发布

羽翼天宇

最新推荐文章于 2021-04-25 11:36:33 发布

阅读量1.3k

点赞数

分类专栏： Spark算子系列文章

本文链接：https://blog.csdn.net/qq_36764089/article/details/81276931

版权

本文介绍了Spark中RDD的两个行动操作：saveAsNewAPIHadoopFile和saveAsNewAPIHadoopDataset。saveAsNewAPIHadoopFile用于使用新版本Hadoop API将RDD数据保存到HDFS，而saveAsNewAPIHadoopDataset则展示了如何用新API写入HBase。提供了详细的用法示例和配置步骤。

摘要由CSDN通过智能技术生成

Spark算子：RDD行动Action操作(7)–saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset

关键字：Spark算子、Spark函数、Spark RDD行动Action、Spark RDD存储操作、saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset

saveAsNewAPIHadoopFile

def saveAsNewAPIHadoopFile[F <: OutputFormat[K, V]](path: String)(implicit fm: ClassTag[F]): Unit

def saveAsNewAPIHadoopFile(path: String, keyClass: Class[_], valueClass: Class[_], outputFormatClass: Class[_ <: OutputFormat[_, _]], conf: Configuration = self.context.hadoopConfiguration): Unit

saveAsNewAPIHadoopFile用于将RDD数据保存到HDFS上，使用新版本Hadoop API。

用法基本同saveAsHadoopFile。

    import org.apache.spark.SparkConf
    import org.apache.spark.SparkContext
    import SparkContext._
    import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat
    import org.apache.hadoop.io.Text