HIVE复杂数据类型与行转列、列转行的使用

一、复杂数据类型

在hive中使用复杂数据类型的优缺点

好处：由于复杂数据类型的存储数据比基本数据类型要多，在存盘上存储可以连续存储，在查询等操作时可以减少磁盘IO。

坏处：复杂数据类型可能会存在着数据的重复，而且有更大的导致数据不一致的风险。

hive中的复杂数据类型主要有array、map、struct三种，三种数据类型有其独特的使用场景。

1、ARRAY

array即数组，array中的数据类型都是统一的，比如全为int，或者全为string。

• 使用array中元素,访问数组中的某一个元素：
  • array[1]
• 数组长度:
  • size[array]
• 查看数组中的每一个元素explode()

  • select explode(city) from arr2;

    注：explode()函数只是生成了一个数据的展示方式，无法在表中产生一个新的数据列，即select province,explode(city) from arr2 会报错的

• 确定数组中是否含有\(不含有)某一个元素

  • arr_contains(数组名，值)   
    !arr_contains(数组名，值)

     

2、MAP

map的数据形式为KEY-VALUE形式，即类似于python中的字典形式。

{'k0':'abc','k1':'01,02,03','k2':'456'}

• 获取map长度：
  • size(Map)
• 获取map中所有的key，返回值类型: array
  • map_keys(Map)函数

  • select map_keys(t.params);
    >> ["k0","k1","k2"]

• 获取map中所有的value; 返回值类型: array
  • map_values(Map)函数

  • select map_value(t.params);
    >> ["abc","01,02,03","456"]

• 判断map中是否包含某个key值：
  • ​​​​​​​首先使用