主要是在impala中使用复杂类型(array,struct,map),作为测试所以需要hive。具体过程:
- 创建hive表1
- 编写本地数据文件,导入数据
- 创建hive表2,存储为parquet(这样才能在impala中使用),从表1导入到表2
cloudera impala有不同的example提供,可参考
但其中唯有一点没有说清楚:即在第二部中,本地文件的编写,如果嵌套层级很深,如何写,举个例子:
1 创建表1如下:
CREATE TABLE IF NOT EXISTS test1 (
order_id string,
rooms array<struct<
room_id:string,
days:array<struct<day_id:string,price:int>>
>
>
) ROW FORMAT DELIMITED
FIELDS TERMINATED BY '|'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':';
这个层级是这样的:
{ order_id: "order1", ro