Spark基础练习

给定数据如下：

班级 ID 姓名 年龄 性别 科目 成绩

12 张三 25 男 chinese 50 
12 张三 25 男 math 60 
12 张三 25 男 english 70 
12 李四 20 男 chinese 50 
12 李四 20 男 math 50 
12 李四 20 男 english 50 
12 王芳 19 女 chinese 70 
12 王芳 19 女 math 70 
12 王芳 19 女 english 70 
13 张大三 25 男 chinese 60 
13 张大三 25 男 math 60 
13 张大三 25 男 english 70 
13 李大四 20 男 chinese 50 
13 李大四 20 男 math 60 
13 李大四 20 男 english 50 
13 王小芳 19 女 chinese 70 
13 王小芳 19 女 math 80 
13 王小芳 19 女 english 70

val conf=new SparkConf().setMaster("local[2]").setAppName("sparkTest")
  val sc=SparkContext.getOrCreate(conf)
  val p=sc.textFile("D:\\test\\student.txt")

1 . 一共有多少人参加考试？

 println(p.collect.map(_.split("\\s+")).transpose.apply(1).distinct.size)

1.1 一共有多少个小于 20 岁的人参加考试？

 println(p.collect.map(_.split("\\s+")).filter(x => x(2).toInt < 20).groupBy(x => x(1)).size)

1.2 一共有多少个等于 20 岁的人参加考试？

 println(p.collect.map(_.split("\\s+")).filter(x => x(2).toInt == 20).groupBy(x => x(1)).size)

1.3 一共有多少个大于 20 岁的人参加考试？

 println(p.collect.map(_.split("\\s+")).filter(x => x(2).toInt > 20).groupBy(x => x(1)).size)

2. 一共有多个男生参加考试？

println(p.collect.map(_.split("\\s+")).filter(x => x(