sparkRDD练习题

给定数据如下：
班级ID 姓名 年龄 性别 科目 成绩
12 张三 25 男 chinese 50
12 张三 25 男 math 60
12 张三 25 男 english 70
12 李四 20 男 chinese 50
12 李四 20 男 math 50
12 李四 20 男 english 50
12 王芳 19 女 chinese 70
12 王芳 19 女 math 70
12 王芳 19 女 english 70
13 张大三 25 男 chinese 60
13 张大三 25 男 math 60
13 张大三 25 男 english 70
13 李大四 20 男 chinese 50
13 李大四 20 男 math 60
13 李大四 20 男 english 50
13 王小芳 19 女 chinese 70
13 王小芳 19 女 math 80
13 王小芳 19 女 english 70

需求如下：
1. 一共有多少人参加考试？
1.1 一共有多少个小于20岁的人参加考试？
1.2 一共有多少个等于20岁的人参加考试？
1.3 一共有多少个大于20岁的人参加考试？

2. 一共有多个男生参加考试？
2.1 一共有多少个女生参加考试？

3. 12班有多少人参加考试？
3.1 13班有多少人参加考试？

4. 语文科目的平均成绩是多少？
4.1 数学科目的平均成绩是多少？
4.2 英语科目的平均成绩是多少？

5. 单个人平均成绩是多少？

6. 12班平均成绩是多少？
6.1 12班男生平均总成绩是多少？
6.2 12班女生平均总成绩是多少？
6.3 同理求13班相关成绩

7. 全校语文成绩最高分是多少？
7.1 12班语文成绩最低分是多少？
7.2 13班数学最高成绩是多少？

8. 总成绩大于150分的12班的女生有几个？

 

 

 

 

import org.apache.spark.{SparkConf, SparkContext}

object RDDtest {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
      .setAppName("RDDtest")
      .setMaster("local")
    val sc = new SparkContext(conf)

    val file = sc.textFile("F:\\Spark\\test.txt")

    //    val tuple111=file.map(_.split(" ")).map(x=>(x(1),x(2)))
    val tupled = file.map(line => {
      val fields = line.split(" ")
      val classid = fields(0)
      val name = fields(1)
      val age = fields(2)
      val sex = fields(3)
      val course = fields(4)
      val score = fields(5)
      (classid, name, age, sex, course, score)

    })
    //测试tupled
    //    println(tupled.collect().toBuffer)
    //多少人参加了考试
    //     val nums=tupled.map(_._2).distinct().count()
    //     println(nums)
    //    1.1 一共有多少个小于20岁的人参加考试？
    //    val nums =tupled.map(x =>(x._2,x._3)).distinct().filter(_._2.toInt<20).count()
    //    println(nums)
    //    1.2 一共有多少个等于20岁的人参加考试？
    //    1.3 一共有多少个大于20岁的人参加考试？
    //
    //    2. 一共有多个男生参加考试？
    //    val nums = tupled.map(x=>(x._2,x._4)).distinct().filter(_._2 =="男").count()
    //    println(nums)
    //    2.1 一共有多少个女生参加考试？
    //
    //    3. 12班有多少人参加考试？
    //val nums = tupled.map(x=>(x._1,x._2)).distinct().filter(_._1 ==12).count()
    //    println(nums)
    //    3.1 13班有多少人参加考试？
    //
    //    4. 语文科目的平均成绩是多少？
    //    val nums = tupled.map(x=>(x._5,x._6,1))         有错
    //  .filter(_._1=="chinese").map(x=>(x._2,x._3))  有错
    //    .map(x=>(x._2.toDouble+x._2.toDouble,x._3.toInt+x._3.toInt)) 有错

    //    val nums = tupled.map(x=>(x._5,x._6.toDouble)).filter(_._1 =="chinese").reduceByKey(_+_)
    //    val num2 =tupled.filter(_._5=="chinese").flatMap(_._6).mean()
    //    val num3 =tupled.filter(x=>x._5.contains("")||x._5.contains("")).flatMap(_._6).mean()
    //    println(num2)

    //    4.1 数学科目的平均成绩是多少？
    //    4.2 英语科目的平均成绩是多少？
    //
    //    5. 单个人平均成绩是多少？

    //    val step1 = tupled.map(x => (x._2, x._6.toDouble)).groupByKey().mapValues(_.toList)
    //    val step2 = step1.mapValues(x => x.sum / x.size)
    //    step1.foreach(println)
    //    step2.foreach(println)


    //    6. 12班平均成绩是多少？
    //val step1 = tupled.filter(_._1=="12").map(x=>(x._1,x._6.toDouble))
    //  .groupByKey().mapValues(x=>x.sum/x.size)
    //    step1.foreach(println)

    //    6.1 12班男生平均总成绩是多少？
    //    6.2 12班女生平均总成绩是多少？
    //    6.3 同理求13班相关成绩
    //
    //    7. 全校语文成绩最高分是多少？

    //top返回最大的几个元素不需要排序了
    //    val step1 = tupled.filter(_._5=="chinese").map(x=>(x._2,x._6)).sortBy(_._2,false).take(1)
    //step1.foreach(println)
    //    7.1 12班语文成绩最低分是多少？
    //    7.2 13班数学最高成绩是多少？
    //
    //    8. 总成绩大于150分的12班的女生有几个？
    //    val step1 = tupled.filter(_._1 == "12").map(x => (x._2, x._6.toDouble))
    //      .groupByKey().mapValues(_.sum).filter(_._2>150).count()
    //    println(step1)
    sc.stop
}}