RDD编程之RDD的创建

在Spark中创建RDD的创建方式可以分为三种：从集合中创建RDD；从外部存储创建RDD；从其他RDD创建。
创建RDD之前要先创建spark上下文对象：

val conf = new SparkConf().setMaster("local").setAppName("WorldCount")
val sc = new SparkContent(conf)

(1)从内存中创建
①使用parallelize()从集合创建

val rdd = sc.parallelize(Array(1,2,3,4,5,6,7,8))

②使用makeRDD()从集合创建

val rdd = sc.makeRDD(Array(1,2,3,4,5,6,7,8))

再看看他们的底层源码：


可以看到它们底层源码都是两个参数，那为什么上面只传一个参数也行呢？另一个参数有什么用呢？其实它们的第二个参数都是设定分区数的，因为RDD是可分区的，在创建RDD的时候可以传入参数让RDD固定分多少个区。但是如果你不传的话也有默认值，如果不写就用默认的参数。先来看makeRDD()的默认值，最底层的源码如下：

override def defaultParallelism(): Int = {
    conf.getInt("spark.default.parallelism", math.max(totalCoreCount.get(), 2))
  }

它的分区数首选在spark中配置的spark.default.parallelism参数，由于我用的是maven仓库，所以没有默认值，所以它会用后面的代码，在totalCoreCount.get()和2之间选出最大的。那么totalCoreCount.get又是什么呢？这就涉及到创建spark上下文对象时候设定的，默认是值本机cpu核数。parallelize()的和makeRDD是一样的。
(2)从磁盘中创建

val lines: RDD[String] = sc.textFile("C:\\Users\\ASUS\\IdeaProjects\\Spark\\src\\main\\resources\\input.txt")

从磁盘中创建RDD就是读取磁盘的数据然后创建RDD，这个方法也可以在textFile()中指定RDD的分区数，其创建RDD的源码如下：

/**
   * Read a text file from HDFS, a local file system (available on all nodes), or any
   * Hadoop-supported file system URI, and return it as an RDD of Strings.
   */
  def textFile(
      path: String,
      minPartitions: Int = defaultMinPartitions): RDD[String] = withScope {
    assertNotStopped()
    hadoopFile(path, classOf[TextInputFormat], classOf[LongWritable], classOf[Text],
      minPartitions).map(pair => pair._2.toString).setName(path)
  }

可以看到，它是在defaultParallelism和2之间取最小的，defaultParallelism和上面的在内存中创建那个值是一样的，我这里也是cpu核数，所以默认会分成两个RDD。