hive支持等值连接(a.id=b.id),不支持非等值连接(a.id>b.id),因为非等值连接非常难以转化到map/reduce任务。另外,Hive支持2个以上表之间的join
//建表:
hive (xiaoliu)> create table a(id int,name string)
> row format delimited
> fields terminated by ',';
hive (xiaoliu)> create table b(id int,name string)
> row format delimited
> fields terminated by ',';
[xiaokang@hadoop hive_data]$ vi a.txt
1,a
2,b
3,c
4,d
7,y
8,u
[xiaokang@hadoop hive_data]$ vi b.txt
2,bb
3,cc
7,yy
9,pp
//导入数据
hive (xiaoliu)> load data local inpath '/home/xiaokang/hive_data/a.txt'
> into table a;
hive (xiaoliu)> load data local inpath '/home/xiaokang/hive_data/b.txt'
> into table b;
hive (xiaoliu)> select * from a;
OK
a.id a.name
1 a
2 b
3 c
4 d
7 y
8 u
hive (xiaoliu)> select * from b;
OK
b.id b.name
2 bb
3 cc
7 yy
9 pp
1. 内关联 inner join
相等的显示出来,不相等的不计
hive (xiaoliu)> select * from a inner join b on a.id=b.id;
本地模式:
hive (xiaoliu)> set hive.exec.mode.local.auto=true
设置为true之后,hive执行会根据处理数据和代码的复杂程度,决定要不要走本地模式。大多数情况下会自动开启本地模式,在我们的linux上用线程来模拟一套分布式计算的环境mr,这样执行效率会大大提高
当然,这是在开发环境,如果是在线上环境,一定不要用本地模式。
2. 左关联 left join
把左表的字段全部显示出来,右表做一个字段的关联,如果关联上相等,显示出来,如果关联不上,显示为null
hive (xiaoliu)> select * from a left join b on a.id=b.id;
3. 右关联 right join
hive (xiaoliu)> select * from a right join b on a.id=b.id;
4. 全外关联 full outer join
右边关联上,右边显示出来,左边显示为null;左边关联上,左边显示出来,右边显示为null;两边关联上,都显示出来
hive (xiaoliu)> select * from a full outer join b on a.id=b.id;
5. 特别的join
hive (xiaoliu)> select * from a left semi join b on a.id=b.id;
相当于
hive (xiaoliu)> select a.id,a.name from a where a.id in (select b.id from b);//在hive中效率极低
hive (xiaoliu)> select a.id,a.name from a join b on (a.id=b.id);
6. 做两个表的笛卡尔积 cross join
返回两个表的笛卡尔积结果,不需要指定关联键。
hive (xiaoliu)> select a.*,b.* from a cross join b;