Spark学习笔记-如何创建RDD

创建RDD方式

1、从内存中创建RDD

// 创建spark的上下文环境
val SparkConf = new SparkConf().setMaster("local[*]");

其中local[*]表示的是获取cpu中全部的核数，如果不传入参数，则表示的是单线程传入单核。

接着我们需要声明一个上下文的控制对象，

val sc = new SparkContext(SparkConf );

接下来我们需要从内存中创建一个RDD，将内存中集合数据作为处理的数据源

val seq = Seq[Int] (1,2,3,4)
val rdd:RDD[Int] = sc.parallelize(seq)
rdd.collect().foreach(println)

sc.parallelize(0 until numMappers, numMappers)
表示的是创建一个并行集合，使用slices来将数据集划分为几分数据。

2、从外部存储系统数据集当中创建RDD

比如有HDFS、HBase

var fileRDD : RDD[String]  = sparkContext.textFile("input")