Hive及Impala的Map类型使用案例

前文：

         当一个用户拥有多个标签(私有属性)或一个标签拥有多个用户时，可以使用map来维护复杂的关系。

一、案例

1.1 建表

这里使用常用的parquet格式展示

drop table if exists hive_map;
CREATE TABLE hive_map(
id INT, 
name MAP < STRING, STRING >
)
STORED AS PARQUET;

1.2 Hive插入

只能使用MR引擎，否则报错。Impala无法使用str_to_map函数。

insert into table hive_map
select 1,str_to_map(concat_ws(',',collect_list(concat("a",":","a1"))));

insert into table hive_map
select 2,str_to_map(concat_ws(',',collect_list(concat("b",":","a1"))));

insert into table hive_map
select 
    id,str_to_map(concat_ws(',',collect_list(concat(key,":",value)))) as name 
from (
    select 3 as id,'aa' as key,'aa1' as value
    union ALL
    select 3 as id,'bb' as key,'bb2' as value 
    union ALL
    select 3 as id,'cc' as key,'cc3' as value 
)t1
group by id;

1.3Hive查询

select id,name["a"] from hive_map where name["a"] = "a1";

hive 能直接获取对应的kv关系，但不能直接判断key/value存在。

1.4Impala查询

refresh hive_map;
select 
    id ,info_map.key
from hive_map,
    hive_map.name as info_map
where info_map.key = "a";

备注：Impala查询复杂数据类型可以看作是一张表，所以要提取出来再使用，否则只能查询到简单数据类型的字段。

Impala 不能获取对应的kv关系，但能直接判断key/value存在。