mapToPair
此函数会对一个RDD中的每个元素调用f函数,调用f函数后会进行一定的操作把每个元素都转换成一个<K,V>类型的对象,例如:rdd1中包含hello、world元素,经f函数转换后,可以变成类似<hello,1>,<world,1>这样的键值对形式
scala版本
scala没有该函数,只需要利用map即可实现
val rdd1 = sc.parallelize(List("hello","java","scala","world"))
rdd1.map((_,1)).collect.foreach(println)
java版本
JavaRDD<String> rdd1 = sc.parallelize(Arrays.asList("hello", "java", "scala", "world"));
JavaPairRDD<String, Integer> stringIntegerJavaPairRDD = rdd1.mapToPair(new PairFunction<String, String, Integer>() {
@Override
public Tuple2<String, Integer> call(String s) throws Exception {
return new Tuple2<>(s, 1);
}
});
List<Tuple2<String, Integer>> collect = stringIntegerJavaPairRDD.collect();
for (Tuple2<String, Integer> tuple2 : collect) {
System.out.println(tuple2);
}
flatMapToPair
此函数相对于mapToPair多了个flatMap的功能,它能够将元素拆分后在转换成键值对,常见的有单词拆分
scala版本
scala中同样没有该函数,可以利用flatMap和map两个算子实现
val rdd1 = sc.parallelize(List("hello world","hello scala","word count"))
val flatMapRDD = rdd1.flatMap(x=>x.split(" "))
flatMapRDD.map((_,1)).collect.foreach(println)
java版本
和flatMap一样,在spark 2.0版本以上,faltaMapToPair也做了一些改动,主要是主要是iterator和iteratable的一些区别
- spark 2.0以上
JavaRDD<String> rdd1 = sc.parallelize(Arrays.asList("hello world", "hello scala", "word count"));
JavaPairRDD<String, Integer> stringIntegerJavaPairRDD = rdd1.flatMapToPair(new PairFlatMapFunction<String, String, Integer>() {
@Override
public Iterator<Tuple2<String, Integer>> call(String s) throws Exception {
List<Tuple2<String, Integer>> list = new ArrayList<>();
String[] strings = s.split(" ");
for (String s1 : strings) {
list.add(new Tuple2<>(s1, 1));
}
return list.iterator();
}
});
List<Tuple2<String, Integer>> collect = stringIntegerJavaPairRDD.collect();
for (Tuple2<String, Integer> t : collect) {
System.out.println(t);
}
- spark 2.0以下
rdd1.flatMapToPair(new PairFlatMapFunction<String, String, Integer>() {
@Override
public Iterable<Tuple2<String, Integer>> call(String s) throws Exception {
List<Tuple2<String, Integer>> list = new ArrayList<>();
String[] strings = s.split(" ");
for (String s1 : strings) {
list.add(new Tuple2<>(s1, 1));
}
return list;
}
});