第一关 集合并行化创建RDD
任务描述
本关任务:计算并输出各个学生的总成绩。
编程要求
根据提示,在右侧编辑器begin-end处补充代码,计算并输出各个学生的总成绩。
("bj",88): bj指学生姓名,88指学生成绩。
测试说明
平台会对你编写的代码进行测试:
预期输出: (bj,254) (sh,221) (gz,285)
答案 复制点击评测
package step1;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple2;
import java.util.*;
public class JStudent {
public static void main(String[] args) {
SparkConf conf = new SparkConf().setMaster("local").setAppName("JStudent");
JavaSparkContext sc = new JavaSparkContext(conf);
List<Tuple2<String,Integer>> list = Arrays.asList(
new Tuple2("bj",88),new Tuple2("sh",67),new Tuple2("gz",92),
new Tuple2("bj",94),new Tuple2("sh",85),new Tuple2("gz",95),
new Tuple2("bj",72),new Tuple2("sh",69),new Tuple2("gz",98));
/********** Begin **********/
//第一步:创建RDD
JavaPairRDD<String,Integer> listRDD=sc.parallelizePairs(list);
//第二步:把相同key的进行聚合
List<Tuple2<String,Integer>> collection = listRDD.reduceByKey((x , y) -> x + y).collect();
//第三步:输出
for(Tuple2 c:collection){
System.out.println(c);
}
/********** End **********/
sc.stop();
}
}
第二关 读取外部数据集创建RDD
任务描述
本关任务:读取文本文件,按照文本中数据,输出老师及其出现次数。
编程要求
根据提示,在右侧编辑器begin-end处补充代码,输出老师姓名和出现次数。
答案 复制 点击评测
package step2;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple2;
import java.util.Arrays;
import java.util.List;
public class JTeachers {
public static void main(String[] args) {
SparkConf conf = new SparkConf().setMaster("local").setAppName("JTeachers");
JavaSparkContext sc = new JavaSparkContext(conf);
String dataFile = "file:///root/step2_files";
/********** Begin **********/
//第一步:以外部文件方式创建RDD
JavaRDD<String> teaRDD = sc.textFile(dataFile);
//第二步:将文件中每行的数据切分,得到自己想要的返回值
Integer one=1;
JavaPairRDD<String, Integer> teacher = teaRDD.mapToPair(line ->{
String name=line.split(",")[1];
Tuple2<String, Integer > t2=new Tuple2<>(name,1);
return t2;
});
//第三步:将相同的key进行聚合
List<Tuple2<String, Integer>> collection =teacher.reduceByKey((x, y) -> x + y).collect();
//第四步:将结果收集起来
//第五步:输出
for(Tuple2 c:collection){
System.out.println(c);
};
/********** End **********/
sc.stop();
}
}