1)获取内存中的RDD
import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} //从内存中获取RDD object _01FromMemory { def main(args: Array[String]): Unit = { //配置文件 val conf: SparkConf = new SparkConf().setMaster("local").setAppName("createRDD") //获取上下文对象 val sc = new SparkContext(conf) //从内存中创建RDD val list = List(3, 6, 78, 9) /** * 方法一:使用上下文的并行化方法,从内存中获取RDD对象 */ val rdd: RDD[Int] = sc.parallelize(list) rdd.foreach(println) println("--------------------------------") /** * 方法二:使用上下文的makeRDD方法,来从内存中获取RDD对象 */ val rdd2 = sc.makeRDD(list) rdd2.foreach(println) //3 //6 //78 //9 //-------------------------------- //3 //6 //78 //9 } }
2)获取外部数据的RDD
import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} //从外部数据获取RDD object _02FromOthers { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("getRDD") val sc = new SparkContext(conf) /** * 从外部文件获取RDD Windows的磁盘获取 *