Spark 获取RDD案例详解

1）获取内存中的RDD

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
//从内存中获取RDD
object _01FromMemory {
    def main(args: Array[String]): Unit = {
        //配置文件
        val conf: SparkConf = new SparkConf().setMaster("local").setAppName("createRDD")
        //获取上下文对象
        val sc = new SparkContext(conf)
​
        //从内存中创建RDD
        val list = List(3, 6, 78, 9)
​
        /**
         * 方法一：使用上下文的并行化方法，从内存中获取RDD对象
         */
        val rdd: RDD[Int] = sc.parallelize(list)
        rdd.foreach(println)
​
        println("--------------------------------")
        /**
         * 方法二：使用上下文的makeRDD方法，来从内存中获取RDD对象
         */
        val rdd2 = sc.makeRDD(list)
        rdd2.foreach(println)
​
        //3
        //6
        //78
        //9
        //--------------------------------
        //3
        //6
        //78
        //9
    }
}
​

2）获取外部数据的RDD

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
​
//从外部数据获取RDD
object _02FromOthers {
    def main(args: Array[String]): Unit = {
        val conf = new SparkConf().setMaster("local").setAppName("getRDD")
        val sc = new SparkContext(conf)
​
        /**
         * 从外部文件获取RDD Windows的磁盘获取
         *