关于mapjoin的三点:
1、适用于涉及表join的查询优化,优化的点是大小表
2、表join的过程套在map-reduce计算框架内
3、与common join的对比
A nature join B
nature join的含义是自然连接,突出一个自然,自然指的是有一些自然而然的设定,比如连接的两表肯定有相同的属性,而这一属性是否可以作为键,则没有在定义里指出,键往往是预先定义好的,指的是在不可在记录之间重复的属性。相较于笛卡尔积,自然连接只保留一套公共属性,只取公共属性值相等的记录,由于其属于内连接,只列出相等的记录。
join方面,遇到大小表,小表放在内存中,大表进行map,每个block里都有表的一个子集。在map阶段与内存中的小表进行join。没有reduce,也没有shuffle。
用法:set hive. auto.convert.join=true;
与common对比,优势在于将表的一次性连接的乘法cost转化成map中的加法cost。缺陷在于,map cost成倍增长,如果两表差距不大,当然就不适合于map join。