Spark RDD常用的函数

• 创建RDD-创建
  
  • JavaSparkContext.textFile(filename)：从文件中创建RDD
  • JavaSparkContext.parallelize(List)：从内存中的数据创建RDD

• 转化RDD-转化操作

  • map()：对RDD中的每个元素进行操作，返回值的类型不必和原RDD的元素值类型相等。

    JavaRDD<Pair<Integer, Integer>> numbers = integers.map(new Function<Integer,                            Pair<Integer, Integer>>() {
            public Pair<Integer, Integer> call(Integer integer) throws Exception {
                return new Pair<Integer, Integer>(integer, 1);
            }
        });

  • filter()：对原RDD中的每个元素进行筛选，选出符合条件的元素，组成新的RDD

    JavaRDD<String> pythonRDD = lines.filter(new Function<String, Boolean>() {
            public Boolean call(String s) throws Exception {
                if(s.contains("Python"))
                        return true;
                return false;
            }
        });

  • flatmap()：当我们想由原RDD中的一个元素返回多个元素的时候，我们就使用这个转化函数

    JavaRDD<String> words = lines.flatMap(line -> Arrays.asList(line.split(" ")).iterator());
    

  • union()、intersection()、subtract()、cartesian()：分别是对两个RDD计算并集，交集，减法以及笛卡儿积

  • mapToPair()：当我们想从原RDD中的每个元素返回一个K，V类型的元素的时候使用该函数：
    

    JavaPairRDD<String, Integer> result = words.mapToPair(word->
                new Tuple2<String, Integer>(word,1)).reduceByKey((a, b) -> a+b);

• 行动操作

  • reduce()：假设一个RDD的元素类型是X，则reduce的作用就是将第一个X和第二个X进行reduce操作然后再放入RDD中，一直到RDD中还剩最后一个X，则将X返回

    Integer sum = integers.reduce(new Function2<Integer, Integer, Integer>() {
            public Integer call(Integer integer, Integer integer2) throws Exception {
                return integer + integer2;
            }
        });

  • reduceByKey()： 这里要求调用RDD是JavaPairRDD而不是JavaRDD，相当于自动将每个Key值相同的元素整合在一起，让我们通过该函数来确认Value的值

    JavaPairRDD<String, Integer> result = words.mapToPair(word->
                new Tuple2<String, Integer>(word,1)).reduceByKey((a, b) -> a+b);

  • fold()：和reduce相似，只不过他可以指定一个初始值，针对每个分区（注意一个RDD会有多个分区存在）首先使用初始值和第一个Reduce进行操作，然后就和reduce一致，具体见下图：（http://blog.jasonding.top/2015/07/12/Spark/%E3%80%90Spark%E3%80%91RDD%E6%93%8D%E4%BD%9C%E8%AF%A6%E8%A7%A34%E2%80%94%E2%80%94Action%E7%AE%97%E5%AD%90/）
    
    fold函数
    
    reduce函数

  • aggregate()：因为reduce函数只能返回RDD元素值的类型，比如说RDD的元素类型是Integer，那么reduce只能返回Integer类型的元素，当我们想返回和RDD元素值类型不同的时候，就使用aggregate函数，假设我们想让aggregate返回类型A,那么如下所示：第一个参数a是每个分区的初始化值，第二个参数是对每个分区进行处理的函数，每个分区最后处理的结果就是A类型的数据，第三个参数是对每个分区返回的结果再进行处理，也就是合并。具体流程如下图说是：
    

    A a = new A();//进行初始化
    A result = integers.aggregate(a, new Function2<A,Integer,A>{
            public A call(A a, Integer integer){
                //自己实现
    
            }}, new Function2<A, A, A>{
            public A call(A a, A a1){
                //自己实现
    
            }});