Spark 的JavaWordCount分步详解

一、示例代码

public final class JavaWordCount {
   private static final Pattern SPACE = Pattern.compile(" ");public static void main(String[] args) throws Exception {
   
  if (args.length < 1) {
    // 保证必须有参数，此参数代表待读取文件
    System.err.println("Usage: JavaWordCount <file>");    System.exit(1);
	}

	SparkSession spark = SparkSession
    .builder() // 创建SparkSession的构建器
    .master("local[1]") // 设置部署模式
    .appName("JavaWordCount") // 设置JavaWordCount例子的应用名称
    .getOrCreate(); // 使用构建器构造SparkSession实例
  // 获取DataFrameReader，使用DataFrameReader将文本文件转换为DataFrame
  JavaRDD<String> lines = spark.read().textFile(args[0]).javaRDD();  
  // 使用RDD的flatMap 方法对MapPartitionsRDD进行转换
  JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
   
  @Override
  public Iterator<String> call(String s) {
    // 转换函数的作用是对每行文本进行单词拆分
      return Arrays.asList(SPACE.split(s)).iterator();
	  }
  });
  // 使用RDD的mapToPair方法对MapPartitionsRDD进行转换
  JavaPairRDD<String, Integer> ones = words.mapToPair(    new PairFunction<String, String, Integer>() {
   
  @Override
  // 转换函数的作用是生成每个单词和1的对偶
      public Tuple2<String, Integer> call(String s) {
   
	  return new Tuple2<>(s, 1);
      }
   });  
   // 使用RDD的reduceByKey方法对MapPartitionsRDD进行转换
  JavaPairRDD