今天练习了spark java常见操作。
SparkConf conf=new SparkConf();
conf.setAppName("xxxxxx");
conf.setMaster("local");
JavaSparkContext sc=new JavaSparkContext(conf);
sc.setLogLevel("error");
JavaRDD<String> rdd1=sc.textFile("test.txt");
System.out.println("rdd1:"+rdd1);
结果为 rdd1:[a 1, b 2, a 3, b 4, c 3, b 9]
JavaRDD<List<String>> rdd2=rdd1.map(w-&