使用Spark编程之分组排序取前3名----java代码实现

最新推荐文章于 2022-07-22 16:36:46 发布

小夙o

最新推荐文章于 2022-07-22 16:36:46 发布

阅读量1.1k

点赞数

分类专栏： Spark 文章标签： spark top3 算子

本文链接：https://blog.csdn.net/weixin_41244495/article/details/81475186

版权

Spark 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

package cn.spark.study.core;

import java.util.Arrays;
import java.util.Iterator;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.api.java.function.VoidFunction;

import scala.Tuple2;

public class GroupTop3 {
   public static void main(String[] args) {

       SparkConf conf=new SparkConf().setAppName("GroupTop3").setMaster("local");
       JavaSparkContext sc=new JavaSparkContext(conf);

       JavaRDD<String> lines=sc.textFile("C://Users//Administrator.USER-20180502AW//Desktop//score.txt");

       JavaPairRDD<String,Integer> pairs=lines.mapToPair(
               new PairFunction<String, String, Integer>() {
                   private static final long serialVersionUID = 1L;
                   @Override
                   public Tuple2<String, Integer> call(String t) throws Exception {
                       String [] lineSpit=t.split(" ");
                       return new Tuple2<String,Integer>(lineSpit[0],Integer.parseInt(lineSpit[1]));
                   }
       });



       JavaPairRDD<String,Iterable<Integer>> groupBykey=pairs.groupByKey();//因为值有多个所以需要用Iterable<Integer>迭代器类型做类型

       JavaPairRDD<String, Iterable<Integer>> top3Score =groupBykey.mapToPair(

               new PairFunction<Tuple2<String,Iterable<Integer>>, String, Iterable<Integer>>() {
                   private static final long serialVersionUID = 1L;
                   @Override
                   public Tuple2<String, Iterable<Integer>> call(Tuple2<String, Iterable<Integer>> t)
                           throws Exception {
                       Integer[]top3=new Integer[3];
                       String className=t._1;
                       Iterator<Integer> scores=t._2.iterator();
                   while(scores.hasNext()){
                       Integer score=scores.next();//获取迭代器中的一个元素
                       for (int i = 0; i <3; i++) {//执行逻辑见解，我们要取三个值所以要循环3次，

                           if(top3[i]==null) {//判断接受的数据是不是为空，要是为空给它一个迭代器获取得到的值，进行下一次循环，
                               top3[i]=score;
                               break;
                           }else if(score>top3[i]) {//当现在的值大于数组里面的值的时候就进行数组的位置移动，把值进行交换

                               for (int j = 2; j >i; j--) {
                                   top3[j]=top3[j-1];
                               }
                               top3[i]=score;
                               break;
                           }
                       }
                   }
                       return new Tuple2<String,Iterable<Integer>>(className,Arrays.asList(top3));

                   }
               });

       top3Score.foreach(
               new VoidFunction<Tuple2<String,Iterable<Integer>>>() {

                   private static final long serialVersionUID = 1L;

           @Override
           public void call(Tuple2<String, Iterable<Integer>> t) throws Exception {
               System.out.println("class"+t._1);
               Iterator<Integer> scoreIterator=t._2.iterator();

               while(scoreIterator.hasNext()) {
                   Integer score = scoreIterator.next();
                   System.out.println(score);
               }
               System.out.println("——————————————————————————————————");

           }
       });

               sc.close();

}
}