spark--扩展:Java编写Spark程序

前言

• Spark的源码是使用Scala编写的,那么开发时肯定是使用Scala进行开发最好,和官方的底层源码"兼容性更好"
• 但是有些公司觉得Scala的学习成本较高,Scala的编码风格太过于简洁,不利于新人上手,不利于大规模团队合作
• 因为有的语法确实不太方便阅读, 代码太过于骚气
• 所以也会有公司让用Java编写Spark程序.
• 下面有java版的spark项目，可以练练手
  • https://github.com/search?l=Java&q=Spark&type=Repositories
    

演示使用JavaAPI编写Spark程序完成WordCount

package cn.hanjiaxiaozhi.javaapi;
​
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple2;
​
import java.util.Arrays;
import java.util.List;
​
/**
 * Author hanjiaxiaozhi
 * Date 2020/7/30 14:22
 * Desc 演示使用JavaAPI编写Spark程序完成WordCount
 */
public class SparkJavaAPIDemo {
    public static void main(String[] args) {
        //1.准备环境
        SparkConf sparkConf = new SparkConf().setAppName("SparkJavaAPIDemo").setMaster("local[*]");
        JavaSparkContext jsc = new JavaSparkContext(sparkConf);
        jsc.setLogLevel("WARN");
​
        //2.加载数据
        JavaRDD<String> fileRDD = jsc.textFile("file:///D:\\data\\spark\\words.txt");
​
        //3.处理数据
        //3.1切割并压扁
        /*
        flatMap方法中需要的参数为:如下格式的函数(Java中的函数本质就是接口的匿名内部类实现对象)
        @FunctionalInterface//该注解加在了一个接口上,表示该接口是一个函数式接口
        public interface FlatMapFunction<T, R> extends Serializable {
          Iterator<R> call(T t) throws Exception;
        }
        通过观察源码发现:该函数应该要接收T(这里是String),返回处理好的Iterator<R>(切割好的单词组成的集合)
        Java中的函数的格式: (参数)->{函数体}
        line.split(" ")返回值为数组,要转为Iterator,
        可以先使用Arrays.asList(line.split(" "))得到list,
        再list.iterator得到Iterator
         */
        //JavaRDD<String> wordsRDD = fileRDD.flatMap(line -> {return Arrays.asList(line.split(" ")).iterator();});
        JavaRDD<String> wordsRDD = fileRDD.flatMap(line -> Arrays.asList(line.split(" ")).iterator());
        //3.2每个单词记为1
        /*
       @FunctionalInterface
        public interface PairFunction<T, K, V> extends Serializable {
          Tuple2<K, V> call(T t) throws Exception;
        }
        需要传入一个单词,返回(单词,1)
        但是Java中没有(单词,1)元组格式,所以得单独new个Tuple2(Scala中提供的),所以应该调用mapToPair
         */
        JavaPairRDD<String,Integer> wordAndOneRDD = wordsRDD.mapToPair(word -> new Tuple2<>(word, 1));
        //3.3分组聚合
        /*
        @FunctionalInterface
        public interface Function2<T1, T2, R> extends Serializable {
          R call(T1 v1, T2 v2) throws Exception;
        }
         */
        JavaPairRDD<String, Integer> wordAndCountRDD = wordAndOneRDD.reduceByKey((a, b) -> a + b);
​
        //4.输出结果
        List<Tuple2<String, Integer>> result = wordAndCountRDD.collect();
        //System.out.println(result);
        /*
        @FunctionalInterface
        public interface Consumer<T> {
            void accept(T t);
        }
         */
        //result.forEach(t-> System.out.println(t));
        result.forEach(System.out::println);
    }
}
​