目录
使用join连接两个RDD
选取rdd1与rdd2共有的键进行连接,
因为k3键只在rdd1中,rdd2中没有k3,所以k3不进行连接
同理:
用zip组合两个RDD
这里要求两个RDD的partition(分区)数量以及元素数量都相同,否则会抛出异常(两个一维)
同理:一个一维,一个二维连接
使用combineByKey合并相同键的值
combineByKey用于将相同键的数据聚合,并且允许返回类型与输入数据类型不同的返回值
string类型:
int类型:
计算学生平均成绩
1、提取两个成绩表中的学号和成绩
2、将两个表进行合并
3、将两个表中相同学号的成绩进行相加,并统计科目数量(2)
4、求平均成绩