Spark scala api（一）RDD编程

最新推荐文章于 2024-08-07 20:31:19 发布

weixin_42521881

最新推荐文章于 2024-08-07 20:31:19 发布

阅读量464

点赞数 2

分类专栏： spark学习

本文链接：https://blog.csdn.net/weixin_42521881/article/details/88115075

版权

本文介绍了Spark Scala API的基础，包括初始化Spark、创建和操作RDD，重点讲解了转化操作如map、filter和行动操作如count、foreach。还探讨了向Spark传递函数、常见转化和行动操作的使用，以及RDD之间的不同类型转化和持久化策略。

摘要由CSDN通过智能技术生成

基础

val conf = new SparkConf().setAppName("wordcount")
val sc = new SparkContext(conf)

转化操作和行动操作的区别在于spark计算rdd的方式不同，只有在第一次在一个行动操作中用到转化操作中的rdd时，才会真正计算这些rdd。

// 驱动器程序对一个集合进行并行化
val lines = sc.parallelize(List("pandas","i like pandas"))
//读取外部数据集
val lines = sc.textFile("/path/to/README.md")

转化操作例如filter()
filter不会改变已有的inputRDD的数据

val errorsRDD = inputRDD.filter(line => line.contains(“error”))
行动操作例如count()

println("Input had " + badLinesRDD.count() + “concerning lines”)
println(“Here are 10 examples:”)
badLinesRDD.take(10).foreach(println)