java makerdd_Spark RDD常用算子操作（一） parallelize，makeRDD，textFile

最新推荐文章于 2022-07-15 20:38:35 发布

h灰尘往事

最新推荐文章于 2022-07-15 20:38:35 发布

阅读量521

点赞数

文章标签： java makerdd

本文链接：https://blog.csdn.net/weixin_35210775/article/details/114199760

版权

本文介绍了Spark中创建RDD的三种方法：parallelize用于将现有集合转换为RDD；makeRDD（仅限Scala）与parallelize类似；textFile则用于从外部存储读取数据创建RDD，并支持分区和模式匹配。示例代码包括Scala和Java版本。

摘要由CSDN通过智能技术生成

parallelize

调用SparkContext 的 parallelize()，将一个存在的集合，变成一个RDD，这种方式试用于学习spark和做一些spark的测试

scala版本

def parallelize[T](seq: Seq[T], numSlices: Int = defaultParallelism)(implicit arg0: ClassTag[T]): RDD[T]第一个参数一是一个 Seq集合

第二个参数是分区数

返回的是RDD[T]1

2scala> sc.parallelize(List("shenzhen", "is a beautiful city"))

res1: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[1] at parallelize at :22

java版本

def parallelize[T](list : java.util.List[T], numSlices : scala.Int) : org.apache.spark.api.java.JavaRDD[T] = { /* compiled code */ }第一个参数是一个List集合

第二个参数是一个分区，可以默认

返回的是一个JavaRDD[T]

java版本只能接收List的集合1JavaRDD javaStringRDD = sc.parallelize(Arrays.asList("shenzhen", "is a beautiful city"));

makeRDD

只有scala版本的才有makeRDD

def makeRDD[T](seq : scala.Seq[T], numSlices : scala.Int = { /* compiled code */ })

跟parallelize类似1sc.makeRDD(List("shenzhen", "is a beautiful city"))

textFile

调用SparkContext.textFile()方法，从外部存储中读取数据来创建 RDD

例如在我本地F:dataexamplewordcountinput下有个sample.txt文件，文件随便写了点内容，我需要将里面的内容读取出来创建RDD

scala版本1var lines = sc.textFile("F:\dataexample\wordcount\input")

java版本1JavaRDD lines = sc.textFile("F:\dataexample\wordcount\input");

注: textFile支持分区，支持模式匹配，例如把F:dataexamplewordcount目录下inp开头的给转换成RDD1var lines = sc.textFile("F:\dataexample\wordcount\inp*")

多个路径可以使用逗号分隔，例如1var lines = sc.textFile("dir1,dir2",3)

关注