hive是大数据仓库,最常用的一种用作离线分析的数据仓库。Hive 使用类SQL 查询语法, 最大限度的实现了和SQL标准的兼容,大大降低了传统数据分析人员处理大数据的难度。同时他使用JDBC 接口/ODBC接口,开发人员更易开发应用,使不会编程的人员也能快速上手Hive操作,进行数据分析。
HIve的复杂数据类型
1,STRUCT
struct类似于java的类变量使用,Hive中定义的struct类型也可以使用点来访问。从文件加载数据时,文件里的数据分隔符要和建表指定的一致。例如:struct(val1, val2, val3, ...) ,只有字段值。
2,ARRAY
array表示一组相同数据类型的集合,下标从零开始,可以用下标访问。例如:arr[0]
3,MAP
map是一组键值对的组合,可以通过key访问value,键值之间同样要在创建表时指定分隔符。
例如:map_col['name']
当然Hive除了支持STRUCT、ARRAY、MAP这些原生集合类型,还支持集合的组合。注意:Hive不支持集合里再组合多个集合。
HIve复杂数据结构的用法
1,模仿

本文介绍了Hive大数据仓库中如何处理复杂的數據类型,如STRUCT、ARRAY和MAP,以及如何将数据列转行。通过示例展示了如何使用Hive的建表语句和插入数据,以及利用CASE WHEN THEN ELSE END函数进行列转行操作。内容涵盖Hive的列转行SQL用法和Hive的map类型转换为string。
最低0.47元/天 解锁文章

被折叠的 条评论
为什么被折叠?



