使用sparkContext.parallelize创建RDD

坤坤子的世界

已于 2022-05-24 11:14:00 修改

阅读量1.5k

点赞数

分类专栏： spark RDD 文章标签： spark scala

于 2022-05-24 10:49:25 首次发布

本文链接：https://blog.csdn.net/qq_33465047/article/details/124942740

版权

RDD 同时被 2 个专栏收录

6 篇文章

订阅专栏

spark

2 篇文章

订阅专栏

本文档展示了如何在Scala中通过SparkSession和SparkContext创建RDD，包括指定分区数量的方法。示例中详细演示了创建带数据的RDD、空RDD以及遍历RDD元素的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用sparkContext.parallelize创建RDD

If you are using scala, get SparkContext object from SparkSession and use sparkContext.parallelize() to create rdd, this function also has another signature which additionally takes integer argument to specifies the number of partitions. Partitions are basic units of parallelism in Apache Spark. RDDs in Apache Spark are a collection of partitions.

如果您使用的是 scala，请从 SparkSession 获取 SparkContext 对象 ) 并使用 sparkContext.parallelize() 创建 rdd，此函数还有另一个参数，该参数另外采用整数参数来指定分区数。分区是 Apache Spark 中的基本并行单元。 Apache Spark 中的 RDD 是分区的集合。

1 使用Parallelize创建RDD

object ParralizeDemo {
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkSession.builder().master("local").appName("parralizeDemo").getOrCreate()

    //使用parallelize创建RDD
    //案例1
    val dataSeq = Seq(("java",20000),("python",20000),("Scala",20000))
    val rdd: RDD[(String, Int)] = spark.sparkContext.parallelize(dataSeq)
    val rddcollect: Array[(String, Int)] = rdd.collect()
    println("该RDD的分区数为：" + rdd.getNumPartitions)
    println("该RDD的第一个元素是：" + rdd.first())
    //案例2
    val sc: SparkContext = spark.sparkContext
    val rdd2: RDD[Int] = sc.parallelize(Array(1,2,3,4,5,6,7,8,9))
    println("遍历第二个RDD")
    rdd2.foreach(println)

    //案例3 创建一个空的RDD
    val emptyRDD: RDD[String] = sc.parallelize(Seq.empty[String])

    spark.stop()
  }

}

结果：

该RDD的分区数为：1
该RDD的第一个元素是：(java,20000)
遍历第二个RDD
1
2
3
4
5
6
7
8
9