import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function2;
import scala.Tuple2;
import java.util.Arrays;
import java.util.List;
/**
* groupByKey(function,[numPartitions]) 算子:
* 将RDD中的算子按照key对value进行聚合操作,然后对value进行function计算。
* 输出格式为(key,value)
*
* 参数numPartitions是分区数,可以不设置,那就与原来分区相同。
* spark先对每一个分区的元素计算,最后在进行分区间的汇总计算。
*
* 下面的代码输出为:[(dd,3), (tt,3), (ty,4)]
*/
public class ReduceByKeyDemo {
public static void main(String[] args) {
SparkConf conf = new SparkConf().setMaster("local").setAppName("spark");
JavaSparkContext sc = new JavaSparkContext(conf);
List<Tuple2<String,Integer>> list = Arrays.asList(
new Tuple2<>("ty",1),
new Tuple2<>("dd",1),
new Tuple2<>("tt",2),
new Tuple2<>("dd",2),
new Tuple2<>("tt",1),
new Tuple2<>("ty",3)
);
JavaPairRDD<String,Integer> javaPairRDD = sc.parallelizePairs(list);
//reduceByKey算子,求同一个key下面的value之和
JavaPairRDD<String,Integer> javaPairRDD1 = javaPairRDD.reduceByKey(new Function2<Integer, Integer, Integer>() {
@Override
public Integer call(Integer integer, Integer integer2) throws Exception {
return integer + integer2;
}
});
System.err.println(javaPairRDD1.collect());
//reduceByKey算子的lambda形式,求同一个key下面的value之和
JavaPairRDD<String,Integer> javaPairRDD2 = javaPairRDD.reduceByKey(((integer, integer2) -> integer + integer2));
System.err.println(javaPairRDD2.collect());
}
}
Java Spark算子:reduceByKey
最新推荐文章于 2023-09-23 20:25:35 发布