Spark编程复习

复习题

这个是spark编程练习，有题目和答案，希望能帮助到大家。

1.文章数据，每个RDD元素一篇文章

数据准备：
var rdd=sc.makeRDD(Array(“I love big data”, “Hadoop is the basal platform”, “Spark is the sharp tool”))
问题：
(1)求所有文章总的WordCount
方法1：

方法2：
rdd.flatMap(x=>x.split(" “)).map(x=>(x,1)).reduceByKey((x,y)=>x+y).collect
(1)求所有文章总的WordCount，按每行一个词汇输出到控制台，每行格式为：词汇,次数
rdd.flatMap(x=>x.split(” “)).map(x=>(x,1)).reduceByKey((x,y)=>x+y).foreach(x=>println(x._1+”,"+x._2))

2.有若干整数

数据准备：
var rdd=sc.makeRDD(Array(1, 3, 4, 8))
问题：
(1)求最大值
方法1:
rdd.max
方法2:
rdd.reduce((x,y)=>if(x>y) x else y)
(2)输出所有奇数
rdd.filter(x=>x%2==1).collect

3.一只基金，2017~2022每年年化收益分别为：4%，2%，3.4%，4.2%，3.3%，2.4%

数据准备：
var rdd=sc.makeRDD(Array((2017,0.04),(2018,0.02),(2019,0.034),(2020,0.042),(2021,0.033),(2022,0.024)))
问题：
(1)如果2017年年初投资10000元，到2022年年末应该是多少钱？
方法1：
sc.makeRDD(Array(10000d)).union(rdd.map(x=>x._2+1)).reduce((x,y)=>x<