spark-一个简单的例子--使用spark统计单词数

1.java版本

// 创建一个Java版本的Spark Context
SparkConf conf = new SparkConf().setAppName("wordCount");
JavaSparkContext sc = new JavaSparkContext(conf);
// 读取我们的输入数据
JavaRDD<String> input = sc.textFile(inputFile);
// 切分为单词
JavaRDD<String> words = input.flatMap(
 new FlatMapFunction<String, String>() {
 public Iterable<String> call(String x) {
 return Arrays.asList(x.split(" "));
 }});
// 转换为键值对并计数
JavaPairRDD<String, Integer> counts = words.mapToPair(
 new PairFunction<String, String, Integer>(){
 public Tuple2<String, Integer> call(String x){
 return new Tuple2(x, 1);
 }}).reduceByKey(new Function2<Integer, Integer, Integer>(){
 public Integer call(Integer x, Integer y){ return x + y;}});
// 将统计出来的单词总数存入一个文本文件，引发求值
counts.saveAsTextFile(outputFile);

2.scala版本

// 创建一个Scala版本的Spark Context
val conf = new SparkConf().setApp