- 由一个已经存在的Scala集合创建。
val rdd: RDD[Int] = sc.parallelize(Arrscay(1,2,3,4,5))
- 由外部存储系统的文件创建。
包括本地的文件系统,还有所有Hadoop支持的数据集,比如HDFS、Cassandra、HBase等。
val rdd2 = sc.textFile("/words.txt")
- 已有的RDD经过算子转换生成新的RDD
val rdd3=rdd2.flatMap(_.split(" "))
val rdd: RDD[Int] = sc.parallelize(Arrscay(1,2,3,4,5))
val rdd2 = sc.textFile("/words.txt")
val rdd3=rdd2.flatMap(_.split(" "))