前文:
当一个用户拥有多个标签(私有属性)或一个标签拥有多个用户时,可以使用map来维护复杂的关系。
一、案例
1.1 建表
这里使用常用的parquet格式展示
drop table if exists hive_map;
CREATE TABLE hive_map(
id INT,
name MAP < STRING, STRING >
)
STORED AS PARQUET;
1.2 Hive插入
只能使用MR引擎,否则报错。Impala无法使用str_to_map函数。
insert into table hive_map
select 1,str_to_map(concat_ws(',',collect_list(concat("a",":","a1"))));
insert into table hive_map
select 2,str_to_map(concat_ws(',',collect_list(concat("b",":","a1"))));
insert into table hive_map
select
id,str_to_map(concat_ws(',',collect_list(concat(key,":",value)))) as name
from (
select 3 as id,'aa' as key,'aa1' as value
union ALL
select 3 as id,'bb' as key,'bb2' as value
union ALL
select 3 as id,'cc' as key,'cc3' as value
)t1
group by id;
1.3Hive查询
select id,name["a"] from hive_map where name["a"] = "a1";
hive 能直接获取对应的kv关系,但不能直接判断key/value存在。
1.4Impala查询
refresh hive_map;
select
id ,info_map.key
from hive_map,
hive_map.name as info_map
where info_map.key = "a";
备注:Impala查询复杂数据类型可以看作是一张表,所以要提取出来再使用,否则只能查询到简单数据类型的字段。
Impala 不能获取对应的kv关系,但能直接判断key/value存在。