Spark核心编程系列(五)——RDD文件读取与保存

目录

RDD文件读取与保存

text文件

sequence文件

object对象文件

参考

RDD文件读取与保存

    Spark的数据读取及数据保存可以从两个维度来作区分：文件格式以及文件系统。

文件格式分为：text文件、csv文件、sequence文件以及Object文件；

文件系统分为：本地文件系统、HDFS、HBase以及数据库

text文件

    将一个文本文件读取为RDD时，输入的每一行都会成为RDD的一个元素。也可以将多个完整的文本文件一次性读取为一个pairRDD, 其中键是文件名，值是文件内容。

// 读取输入文件
val inputRDD: RDD[String] = sc.textFile("input/1.txt")

// 保存数据
inputRDD.saveAsTextFile("output")

sequence文件

    SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(FlatFile)。在SparkContext中，可以调用sequenceFile[keyClass,valueClass](path)。

    SequenceFile是由没有相对关系结构的键值对组成的常用hadoop格式。SequenceFile文件有同步标记，Spark可以用它来定位到文件的某个点，然后再与记录的边界对齐。这可以让Spark使用多个节点高效地并行读取SequenceFile文件。SequenceFile也是Hadoop MapReduce作业中常用的输入输出格式。

// 保存数据
dataRDD.saveAsSequenceFile("output")

// 读取SequenceFile文件
sc.sequenceFile[Int, Int]("output").collect().foreach(println)

object对象文件

    对象文件是将对象序列化后保存的文件，采用Java的序列化机制。可以通过objectFile[T:ClassTag](path)函数接收一个路径，读取对象文件，返回对应的RDD，也可以通过调用saveAsObjectFile()实现对对象文件的输出。因为是序列化，所以需要指定类型。

// 保存数据
dataRDD.saveAsObjectFile("output")

// 读取SequenceFile文件
sc.objectFile[Int]("output").collect().foreach(println)

 

参考

https://www.bilibili.com/video/BV11A411L7CK?p=105