spark join操作

// 使用join算子关联两个RDD
        // join以后，还是会根据key进行join，并返回JavaPairRDD
        // 但是JavaPairRDD的第一个泛型类型，之前两个JavaPairRDD的key的类型，因为是通过key进行join的
        // 第二个泛型类型，是Tuple2<v1, v2>的类型，Tuple2的两个泛型分别为原始RDD的value的类型
        // join，就返回的RDD的每一个元素，就是通过key join上的一个pair

public static void myJoin(){
        SparkConf conf = new SparkConf()
        .setAppName("join")  
        .setMaster("local");
      // 创建JavaSparkContext
      JavaSparkContext sc = new JavaSparkContext(conf);
      List<Tuple2<Integer, String>> studentList = Arrays.asList(
                new Tuple2<Integer, String>(1, "leo"),
                new Tuple2<Integer, String>(2, "jack"),
                new Tuple2<Integer, String>(3, "tom"));
        
        List<Tuple2<Integer, Integer>> scoreList = Arrays.asList(
                new Tuple2<Integer, Integer>(2, 90),
                new Tuple2<Integer, Integer>(1, 100),
                new Tuple2<Integer, Integer>(3, 60));
        
        JavaPairRDD<Integer, String> students = sc.parallelizePairs(studentList);
        JavaPairRDD<Integer, Integer> scores = sc.parallelizePairs(scoreList);
        JavaPairRDD<Integer, Tuple2<String, Integer>> studentScores = students.join(scores);
        
studentScores.foreach(
                
                new VoidFunction<Tuple2<Integer,Tuple2<String,Integer>>>() {

                    private static final long serialVersionUID = 1L;
        
                    @Override
                    public void call(Tuple2<Integer, Tuple2<String, Integer>> t)
                            throws Exception {
                        System.out.println("student id: " + t._1);  
                        System.out.println("student name: " + t._2._1);  
                        System.out.println("student score: " + t._2._2);
                        System.out.println("===============================");   
                    }
                    
                });
        sc.close();
        
        
      

        
    }

运算结果：

student id: 1
student name: leo
student score: 100
===============================
student id: 3
student name: tom
student score: 60
===============================
student id: 2
student name: jack
student score: 90
===============================

如果把其中一个删除了会有什么结果呢？

可以看到只是返回找到jion的结果：

student id: 3
student name: tom
student score: 60
===============================
student id: 2
student name: jack
student score: 90
===============================