文件读取与保存
Spark 的数据读取及数据保存可以从两个维度来作区分:文件格式以及文件系统。
文件格式分为:text 文件、csv 文件、sequence 文件以及Object 文件
文件系统分为:本地文件系统、HDFS、HBASE 以及数据库
object Spark_rdd_01 {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("RDD").setMaster("local[*]")
val sc = new SparkContext(conf)
val rdd: RDD[(String, Int)] = sc.makeRDD(List(("a",1),("b",2),("c",3)),1)
//text保存文件
rdd.saveAsTextFile("datas\\output1")
//text读文件
val rdd1: RDD[String] = sc.textFile("datas\\output1\\*")
println(rdd1.collect().mkString(","))
println("-----------------")
//sequence保存文件(必须是键值类型)
//SequenceFile文件是Hadoop用来存储二进制形式的key-value
rdd.saveAsSequenceFile("datas\\output2")
//sequence读文件
val rdd2: RDD[(String, Int)] = sc.sequenceFile[String,Int]("datas\\output2\\*")
println(rdd2.collect().mkString(","))
println("-------------------")
//object保存文件
//object对象文件是将对象序列化后保存的文件,采用 Java 的序列化机制
//因为是序列化所以要指定类型
rdd.saveAsObjectFile("datas\\output3")
//object读文件
val rdd3: RDD[(String, Int)] = sc.objectFile[(String,Int)]("datas\\output3\\*")
println(rdd3.collect().mkString(","))
sc.stop()
}
}
(a,1),(b,2),(c,3)
-----------------
(a,1),(b,2),(c,3)
-------------------
(a,1),(b,2),(c,3)