Spark文件保存到本地或HDFS：saveAsTextFile和saveAsObjectFile

最新推荐文章于 2022-06-27 21:18:11 发布

小五家的二哈

最新推荐文章于 2022-06-27 21:18:11 发布

阅读量8.5k

点赞数 2

文章标签： hadoop spark

本文链接：https://blog.csdn.net/qq_43012693/article/details/109587064

版权

本文介绍如何使用Scala和Java实现RDD数据的本地及HDFS存储。包括设置分区数、使用不同方法保存文件等内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

scala版本：

 val rdd = sc.parallelize(1 to 10)
    rdd.saveAsTextFile("data1/save1")//保存在本地
   //todo 保存在hdfs上 设置了两个分区，所以会有两个文件
   rdd.saveAsTextFile("hdfs://hadoop01:9000/data/save/save1")
    //todo saveAsObjectFile 对于HDFS，默认采用SequenceFile保存。
rdd.saveAsObjectFile("hdfs://hadoop01:9000/data/save/save3")

java版本

        JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(1, 2, 3, 4, 5, 6, 7, 8, 9, 0));
        rdd.saveAsTextFile("file:///C:/data/save1"); //存到系统指定路径
        rdd.saveAsTextFile("data/sav21"); //保存到本地
        rdd.saveAsTextFile("data/save2");
        //保存到hdfs
        rdd.saveAsTextFile("hdfs://hadoop01:9000/data/save/save2");