java sortby_使用sortBy对JavaRDD进行排序

我有JavaRDD>并希望根据其整数字段对其进行排序。

如果RDD只有一个字段，它可以正常工作。

JavaRDD sorted = wordSet.sortBy(x -> x, false, 10);

但由于它的字段是Tuple2，它不起作用。

我尝试了以下代码：

JavaRDD> sorted1 = wordSet1.sortBy(new Function, Integer>() {

public Integer call(Tuple2 value) throws Exception {

return value._2;

}

}, false, 10);

我也尝试使用Comparator，但它也不起作用。

public class TupleComparator implements Comparator>, Serializable

{

@Override

public int compare(Tuple2 o1, Tuple2 o2) {

return o1._2() < o2._2() ? 0 : 1;

}

}

任何帮助都将不胜感激。

更新：一个完整​​且可验证的示例：

public class sortRDD {

public static void main(String[] args) {

SparkConf conf = new SparkConf().setMaster("local").setAppName("sort");

JavaSparkContext sparkContext = new JavaSparkContext(conf);

List numbers = new ArrayList();

for (int i = 1; i < 10; i++) {

numbers.add(i);

}

JavaRDD numberRDD = sparkContext.parallelize(numbers);

System.out.println(numberRDD.collect());

JavaRDD sorted = numberRDD.sortBy(x -> x, false, 1);

System.out.println("sorted:");

System.out.println(sorted.collect());

//RDD of tuples

List> words = new ArrayList>();

for (int i = 1; i < 10; i++) {

words.add(new Tuple2("word" + i, i));

}

JavaRDD> wordSet = sparkContext.parallelize(words);

System.out.println(wordSet.collect());

JavaRDD> sorted1 = wordSet.sortBy(new Function, Integer>() {

public Integer call(Tuple2 value) throws Exception {

return value._2;

}

}, false, 1);

System.out.println("sorted:");

System.out.println(sorted1.collect());

//Using Comparator

JavaRDD> sorted2 = wordSet.sortBy(new TupleComparator(), false, 1);

System.out.println("sorted:");

System.out.println(sorted1.collect());

}

}