Hive中的复杂类型(array/map/struct/json)

最新推荐文章于 2024-04-24 13:14:07 发布
最新推荐文章于 2024-04-24 13:14:07 发布
阅读量599 收藏 2
点赞数
文章标签： hive json java hadoop 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010002517/article/details/130805634
版权
本文介绍了Hive中的复杂数据类型，包括ARRAY, MAP, STRUCT以及如何处理JSON字符串。通过示例展示了创建表、插入数据、展开字段以及使用相关函数的方法，如explode, array_contains, size等。同时也提到了Hive处理嵌套结构和JSON的能力，如获取JSON对象的特定字段。" 88928678,8476445,使用Rational Rose2017创建对象图教程,"['UML基础建模', 'Rose 2017', '建模工具', '软件设计']
摘要由CSDN通过智能技术生成

Hive不仅支持基本类型，还支持比较复杂的类型，同时配套了一些函数，灵活运用这些复杂类型的字段，可以更好的设计离线表

更加详细内容可以见：

字段类型： https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types

hive内置函数： https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF

arrays: ARRAY<data_type>

maps: MAP<primitive_type, data_type>

structs: STRUCT<col_name : data_type [COMMENT col_comment], ...>

primitive_type：基本类型，byte、short、int、long、float、double、string、boolean、datetime等等

data_type：包括primitive_type和Complex Types( ARR

最低0.47元/天 解锁文章
月亮124073734
关注
Hive--array＜＜ struct ＞＞字段结构查询
修行的博客
11-10 2678
Hive库array<< struct >>字段结构查询 建表相关语句： `sector_set` array<struct<gnb_id:int,cell_id:int,mr_count:bigint,rsrp_avg:double,sn:int,dist:int,cell_name:string>> COMMENT 'TOP5', `sector_set`字段数据表现形式： [{"gnb_id":7799206,"cell_id":2,"mr_co
hive基本类型和复杂类型
freefish_yzx的博客
08-15 2516
hive基本类型和复杂类型
Hive复杂数据类型使用介绍
08-01
Hive 做大数据分析，Hive的数据类型大多与Mysql相似，但是它存在自己独特的复杂类型。
hive复杂类型
weixin_51473488的博客
09-22 167
关于hive中复杂类型 1.array类型 array是数组类型,Array中存放相同类型的数据 源数据: 说明:name与locations之间制表符分隔，locations中元素之间逗号分隔 zhangsan beijing,shanghai,tianjin,hangzhou wangwu changchun,chengdu,wuhan,beijin 建表语句 create external table hive_array(name string, work_locations array)
Hive中的复杂类型
ShaneHolmes
03-11 413
Hive专栏 上一篇 主目录 下一篇 目录 https://blog.csdn.net/wf1982/article/details/7474601 【前言】
Hive---hive的复杂数据类型（Array,Map,Struct）
数据科学 爱好分享 快乐就完了
06-29 5521
本文主要介绍hive中一些较为复杂的数据类型，例如array,map，struct等类型
hive的复杂数据类型
whiteblacksheep的博客
07-22 1279
hive的复杂数据类型： Array(1,2,3,4) 装的数据类型是一样的 Map(‘a’,1,‘b’,c) key的类型一样 Struct(‘a’,1,2,34,4)装的数据是完全混乱的 Array数据类型 1.存放 创建一张存放array数据类型的表 [hadoop@hadoop001 data]$ cat hive_array.txt zhangsan beijing...
Hive的三种复杂数据类型
边看边学
07-03 1588
Hive的复杂数据类型主要分为3类：array、map 和 struct。 1. array 测试数据: 列间用 \t 分隔，第二列用逗号分隔。 zhangsan chengdu,shanghai,beijing lisi tianjin,taiyuan,chongqing wangwu xian,nanning,beijing 建表： create table hive_array( name string, locations array<string> ) row format del
hive array、map、struct使用
热门推荐
yfk的专栏
08-08 8万+
hive提供了复合数据类型： Structs： structs内部的数据可以通过DOT（.）来存取，例如，表中一列c的类型为STRUCT{a INT; b INT}，我们可以通过c.a来访问域a Maps（K-V对）：访问指定域可以通过["指定域名称"]进行，例如，一个Map M包含了一个group-》gid的kv对，gid的值可以通过M['group']来获取 Arrays：array中的
HiveSQL 解析Array/Array＜struct＞格式字段
weixin_42189651的博客
03-11 8277
HiveSQL如何展开Array/Array格式字段？使用LATERAL VIEW explode() 方法… 目录1、解析Array格式列展开函数**array行展开→explode****array列展开统计各取值出现次数**2、解析Array格式参考网页： 1、解析Array格式 列展开函数 EXPLODE(col)：将hive一列中复杂的array或者map结构拆分成多行。 LATERAL VIEW：用法：LATERAL VIEW udtf(expression) tableAlias AS col
Hive知识点（十） --Hive数据结构[Array Map Struct json]
qq_38633279的博客
07-30 570
1.Array 1.创建表 create table 表名（id int,other Array<string>） row format delimited fileds terminated by '\t' collection items terminated by ',' ; 2.加载数据 load data local 'filepath' into table 表名; 3.查看表 select * from 表名; 4.查看表结构 desc 表名; 4.查看数组【下标由0开始】 sel
Hive 之复杂数据类型，以及内置函数的应用
xiaoxiao______的博客
10-13 239
复杂数据类型array -- array 类型 -- 创表语法 --不指定数组内部分隔符 create table if not exists array1( name string, scores array<string> ) row format delimited fields terminated by '\t' ; load data local inpath '/root/hivedata/array1' into table array1; select * from a
Hive复杂数据类型之array数组
最新发布
wowulita123的博客
04-24 1268
懂底层原理，懂来龙去脉，你才是真的懂。
Hive复杂数据类型(array类型、map类型、struct类型)
2202_75347029的博客
09-06 4057
一、array类型建表语句：create table 表名(要素1 类型，要素2 类型，要素3 array) row format delimited fileds terminated by '\t' collection items terminated by ',';
hive解析json中jsonArray
yy______的博客
05-25 1344
json如下 {"cityId":1000,"content":{"handleCause":2,"violationListId":"3b643fc1-af48-11ec-bc68-2c4d54472e87,3b62be33-af48-11ec-bc68-2c4d54472e87,3b61d6eb-af48-11ec-bc68-2c4d54472e87","handleType":3,"phone":"175****9875","dbTime":"2022-03-29 18:30:00","startTi
Hive 解析 json,json array
07-18 786
在大数据处理中经常遇到业务端发送json 数据到 table 里 的情况 ，这个需要数据开发工程师能够准备对json string 进行解析 ，并重新定义新表的结构 。 在网络上看到很多网友提到 get_json_object ,json_tuple 的使用和案例 ，结合 替换和分组函数可以比较容易的对json 数据完成解析 。 不久前我们...
hive解析json数组 array json
Mr.pan felix的专栏
12-06 3512
在hive的内置函数中，提供了两个函数用来解析json，分别是get_json_object和json_tuple 以下出现的hive函数不懂的请到 hive2.0中常用的内置函数大全 这篇博客去查看了解 首先来查看下get_json_object函数的详细信息 > desc function extended get_json_object; OK tab_name get_json_object(json_txt, path) - Extract a json object from pa.
hive 解析 json json array
02-12 1553
在大数据处理中经常遇到业务端发送json 数据到 table 里 的情况 ，这个需要数据开发工程师能够准备对json string 进行解析 ，并重新定义新表的结构 。 在网络上看到很多网友提到 get_json_object ,json_tuple 的使用和案例 ，结合 替换和分组函数可以比较容易的对json 数据完成解析 。 不久前我们遇到一个json 类似 格式如下 ： { hom...
hive复杂数据类型嵌套
阿正的博客
04-21 2921
需求：在创建表的时候有一列类型为array<struct:”id”:string,”l”:string>想要自己造数据向表里insert格式应该怎么写呢？ 建表语句如下： CREATE EXTERNAL TABLE `test.test_imp06`( `exps` array<struct<id:string,l:string>> COMMENT ‘cesh...
Hive复合类型详解：Map, Array与Struct操作实践
在Hive中，复合类型是一种强大的数据存储结构，允许用户在一个字段中组合不同类型的数据，包括Map、Array和Struct。这些数据结构在处理复杂的数据关系时非常有用，尤其是在需要存储键值对、有序元素列表或嵌套结构的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值