SparkRdd算子练习

练习一：

val rdd = sc.parallelize(List("dog","an","cat","an","cat"))

第一步：通过获取rdd中每个元素的长度创建新的rdd1

第二步：通过zip把rdd1和rdd组合创建rdd2

第三步：去重

第四步：输出结果

val rdd = sc.parallelize(List("dog","an","cat","an","cat"))
//第一步：通过获取rdd中每个元素的长度创建新的rdd1
val rdd1 = rdd.map(_.length)
rdd1.collect()
//第二步：通过zip把rdd1和rdd组合创建rdd2
val rdd2 = rdd.zip(rdd1)
rdd2.collect()
//第三步：去重
val rdd3 = rdd2.distinct()
//第四步：输出结果
rdd3.collect()
rdd3.foreach(println)

练习二

val list = List(1,2,3,4,5,6)

要求：

1. 创建对应的RDD，命名为rdd

2. 使用map算子，将rdd的数据进行转换操作

 规则如下:

         *      偶数转换成该数的平方

         *      奇数转换成该数的立方

val list = List(1,2,3,4,5,6)
//偶数元素
val rdd1 = rdd.filter(_ % 2 == 0)
rdd1.collect()
//换成平方
val rdd2 = rdd1.map(x=>x*x)
rdd2.collect()
//奇数元素
val rdd3 = rdd.filter(_ % 2 == 1)
rdd3.collect()
//换成立方
val rdd4 = rdd3.map(x=>x*x*x)
//输出
rdd4.collect()

练习三

有一个数组，数组元素为"dog", "salmon", "salmon", "rat", "elephant"

要求：

1. 创建对应的RDD

2. 使用map算子，将rdd的数据进行转换操作

         * 规则如下:

         *      将字符串与该字符串的长度组合成一个元组，例如：dog  -->  (dog,3),salmon   -->  (salmon,6)

//第一步：通过获取rdd中每个元素的长度创建新的rdd1
val rdd1 = rdd.map(_.length)
rdd1.collect()
//第二步：通过zip把rdd1和rdd组合创建rdd2
val rdd2 = rdd.zip(rdd1)
rdd2.collect()
//第三步：去重
val rdd3 = rdd2.distinct()
//第四步：输出结果
rdd3.collect()

练习四

有一个words.txt文件，内容如下：

hello,world,hello,spark

good,nice,good,do

要求：

将该文件上传到HDFS下/spark/test目录下，并创建RDD数据集，然后完成以下步骤：

        第一步：对所给数据创建的rdd切割分词

        第二步：每个单词计数为1

        第三步：对相同单词个数进行累加

        第四步：过滤出单词个数大于一个的

        第五步：输出结果

//第一步: 将文件加载数据并创建Rdd
val rdd = sc.textFile("/spark/test/word.txt")
//第二步：对所给数据创建的rdd切割分词
val rdd1 = rdd.flatMap(x=>x.split(","))
//第三步：每个单词计数为1
val rdd2 = rdd1.map(x=>(x,1))
//第四步：对相同单词个数进行累加
val rdd3 = rdd2.reduceByKey((a,b)=>a+b)
//第五步：过滤出单词个数大于一个的
val rdd4 = rdd3.map(x=>(x._1,x._2>1))
//第六步：输出结果
rdd4.foreach(println)

练习五

某商店上午卖出10本 spark 书籍，每本50元，4本 Hadoop 书籍，每本40元，下午卖出20本 spark 书籍，每本40元，10本 Hadoop 书籍，每本30元。

现要求求出这两本书这一天销售的平均价格。

数据如下：

spark,10,50

spark,40,25

hadoop,5,40

hadoop,10,25

提示：List(("spark",(10,50)),("hadoop",(5,40)),("hadoop",(10,25)),("spark",(40,25)))

要求：

          第一步：通过给定数据通过集合并行化创建rdd

          第二步：求出不同书籍一天收入总和以及出售本数  

          第三步：求出每本平均售价

          第四步：输出结果

//第一步：通过给定数据通过集合并行化创建rdd
val rdd = sc.parallelize(List(("spark",(10,50)),("hadoop",(4,40)),("hadoop",(10,30)),("spark",(20,40))))
//第二步：求出不同书籍一天收入总和以及出售本数
val rdd1 = rdd.reduceByKey((a,b)=>(a._1*a._2+b._1*b._2,a._1+b._1)) 
//第三步：求出每本平均售价
val rdd2 = rdd1.map(x=>(x._1,x._2._1/x._2._2))    
//输出结果
rdd2.foreach(println)