2.1.2 RDD的创建-从集合中创建

最新推荐文章于 2024-08-13 01:28:29 发布

大数据赵轩

最新推荐文章于 2024-08-13 01:28:29 发布

阅读量163

点赞数

分类专栏： Spark 文章标签： spark scala

本文链接：https://blog.csdn.net/qq_41549462/article/details/115982402

版权

Spark 专栏收录该内容

10 篇文章 0 订阅

订阅专栏

2.1.2 RDD的创建-从集合中创建

1、创建RDD有两个函数：parallelize()和makeRDD()【常用】

2、代码步骤：

//2.1创建Spark配置文件
val conf ：SparkConf = new SparkConf().setAppName(“自定义App名字”).setMaster(“local[核心个数]”)
//2.2创建SparkContext对象(sc)
val sc :SparkContext = new SparkContext(conf)
//2.3从集合中创建RDD【seq对象】
val rdd1 :RDD[Int] =  sc.makeRDD(Array(1,2,3,4,5))
val rdd2 :RDD[String] = sc.makeRDD(List(“a”,”b”,”c”))
val rdd3 :RDD[Int] = sc.makeRDD(1 to 5)
val rdd4 :RDD[Int] = sc.parallelize(Array(2,3,4,5))
//2.4关闭资源
sc.stop()