spark 的groupby

      其实我一直很不明白的是，为什么有groupByKey了还要有groupBy,今天被一位同事问到了怎么对rdd分组的时候，这个疑问算是彻底惹恼我了，我一定要搞清楚这东西怎么用的，嗯，对比一下groupByKey（）函数，无参数，pairRdd之际调用即可返回根据分组好的内容，如JavaPairRDD<Long, Iterable<CemCircuitExpierence>>，但是这个必须是

JavaPairRDD<Long, CemCircuitExpierence>类型，也就是说必须是元组的key，value形式。但是Rdd也有一个grouyBy的方法，这个需要传入参数，但是传入什么参数以及返回什么参数，这个我就比较迷惑了，可能是带有强烈的个人情绪在其中，所以一直没弄清楚这个东西，直到我看到了scala的写法是直接将要分组的字段作为参数传进入的时候我忽然就恍然了，java的第二个参数就是要分组的字段的类型，这个我也是在看到第二个参数的返回值的时候才决定要试一下的，结果果然是这样子，groupBy分组后的结果根本就不用理的，都是<u,iterable<传入的类型>>,u就是你要分组的字段的类型。直接上代码吧：

   JavaPairRDD<Long, Iterable<CemCircuitExpierence>> expGroup1=expRdd.groupBy(new Function<CemCircuitExpierence,Long>(){

            private static final long serialVersionUID = 1L;

            @Override
            public Long call(
                    CemCircuitExpierence exp) throws Exception {
                // TODO Auto-generated method stub
                return exp.getIndicator_id();
            }

        });

结果跟下面的是一致的：

JavaPairRDD<Long, CemCircuitExpierence> expPair=expRdd.mapToPair(new PairFunction<CemCircuitExpierence,Long,CemCircuitExpierence>(){

            private static final long serialVersionUID = 1L;

            @Override
            public Tuple2<Long, CemCircuitExpierence> call(
                    CemCircuitExpierence exp) throws Exception {
                return new Tuple2<Long,CemCircuitExpierence>(exp.getIndicator_id(),exp);
            }
            
        });
        JavaPairRDD<Long, Iterable<CemCircuitExpierence>> expGroup=expPair.groupByKey();

查看源代码，好像也没看出个所以然来。