黑猴子的家:Spark RDD 对象文件输入输出(数据读取与保存的主要方式之一)

对象文件是将对象序列化后保存的文件,采用Java的序列化机制。
可以通过objectFilek,v 函数接收一个路径,读取对象文件,返回对应的 RDD,也可以通过调用saveAsObjectFile() 实现对对象文件的输出。因为是序列化所以要指定类型。

scala> val data = sc.parallelize(List((2,"aa"),(3,"bb"),(4,"cc"),(5,"dd"),(6,"ee")))
data: org.apache.spark.rdd.RDD[(Int, String)] 
               = ParallelCollectionRDD[7] at parallelize at <console>:24

scala> data.saveAsObjectFile("hdfs://hadoop102:9000/objfile")

scala> import org.apache.spark.rdd._
import org.apache.spark.rdd._

scala> val objrdd:RDD[(Int,String)] 
               = sc.objectFile[(Int,String)]("hdfs://hadoop102:9000/objfile/p*")
objrdd: org.apache.spark.rdd.RDD[(Int, String)] 
               = MapPartitionsRDD[15] at objectFile at <console>:27

scala> objrdd.collect
res4: Array[(Int, String)] = Array((2,aa), (3,bb), (4,cc), (5,dd), (6,ee))
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值