0436-如何在Hive中使用Map类型

最新推荐文章于 2024-08-02 00:27:30 发布
最新推荐文章于 2024-08-02 00:27:30 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： Hadoop实操
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hadoop_SC/article/details/104376108
版权
本文档详细介绍了如何在Hive中使用Map类型存储数据，包括环境准备、创建包含Map类型的Hive表、数据查看以及Map类型的特性总结。通过示例展示了Map在Hive中的使用方法，如键值对的分隔符设置以及查询Map中数据的SQL语句。
摘要由CSDN通过智能技术生成

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github：
https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢

1.文档编写目的

在前面的文章Fayson介绍了《Hive创建外部表CSV数据中列含有逗号问题处理》。本篇文章Fayson主要介绍在Hive中使用Map类型存储数据。

内容概述

1.环境准备

2.创建Hive表及测试

3.总结

  • 测试环境

1.CM和CDH版本为5.15

2.环境准备

准备测试数据，文本数据内容如下：

0098.HK,104,2018-10-21T22:20:00.105Z,name:fayson|sex:男|age:18
0098.HK,104,2018-10-21T22:20:00.105Z,name
最低0.47元/天 解锁文章
Hadoop_SC
关注
专栏目录
hive 使用 map 类型字段
AI天才研究院
07-06 9854
创建一个map类型字段 create table test3(field2 map<string,string>) row format delimited fields terminated by ',' collection items terminated by "|" map keys terminated by ":"; map keys terminated by "...
Hive 复杂数据类型之map
鸭梨的博客
12-27 4576
定义格式如下： create table tableName( ....... colName map<T,T> ...... ) 案例准备： 测试数据如下 zhangsan chinese:90,math:87,english:63,nature:76 lisi chinese:60,math:30,english:78,nature:0 wangwu chinese:89,math:25 create table if not exists map1( name string,
Hive 复杂数据类型之 STRUCT/MAP/JSON
最新发布
实践出真知
08-02 583
在 Hive 中，除了常见的基本数据类型（如 INT、STRING、FLOAT 等），还支持一些特殊的数据类型，如 STRUCT、MAP 和 JSON，这些数据类型允许处理更复杂和嵌套的数据结构。
Hive之Map常用方法
weixin_43597208的博客
09-20 9186
实际工作中，有时会出现map复杂数据类型，字段field1形式如：{‘k0’:‘abc’,‘k1’:‘01,02,03’,‘k2’:‘456’}，如果是string形式，我们可以适用get_json_object 函数，取出对应的value值，具体如：get_json_object（field,‘$.k0’），即可取出值abc,如果是map数据类型，这个值该怎么取呢？可以适用field[‘k0’]这种形式取出abc，顺便把map数据类型的常用方法做个总结；
hive向map类型插入多条数据
weixin:tchongyu
04-14 1351
insert into map_type select map('2','t2','3','t3','4','t4','5','t5','6','t6') from (select 1) t;
hive中map相关函数总结
weixin_43597208的博客
12-21 3331
具体来说，str_to_map 函数会将一个由键值对组成的字符串解析成一个 Map 对象，其中键和值之间使用指定的分隔符进行分隔。其中，str 是要转换的字符串，delimiter1 是键值对之间的分隔符，delimiter2 是键和值之间的分隔符。第三种sql,maps字段的类型是map;给出一组学生数据，有名字，课程，等级，分数等字段，现在求每门课的情况，包含平均成绩，及这门课包含哪些学生及学生的等级。问题来了，能否在第二种的基础上，实现第一种和第三种的结果，且字段类型是string;
HIVE之Map数据类型应用
Change the World by Program
04-19 2379
使用场景 场景一 (博主实际使用场景) 因为公司近期涉及埋点数据的业务逻辑,对于扩展字进行补充因此采用map数据类型存储扩展字段. 场景二 (其他业务场景) 场景2.1 我的项目里，生成的一个中间表，为了优化性能，里面有一列最好是个数组，因为如果把数组打散，每行上存一个元素，会因为其他列的重复导致数据量爆炸。首先想从上游表中生成这个数组，搜索半天文档，发现唯一的方式是把源数据列先转STRI...
48 Hive创建表
阿甘兄
08-08 436
建表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment],...
05.hive数据类型--复合类型--map类型的使用.mp4
04-29
05.hive数据类型--复合类型--map类型的使用.mp4
0437-如何在Hive中使用Struct类型
01-20
Hive中支持多种数据类型除了常用的TINYINT、SMALLINT、INT、BIGINT、BOOLEAN、FLOAT、DOUBLE、STRING、BINARY、TIMESTAMP、DECIMAL、DATE、VARCHAR、CHAR类型外，当然还包含一些复杂的数据类型（array、map、struct...
Hive中的map类型及其操作
热门推荐
Chao_Qing的专栏
06-29 2万+
–创建表，并定义map类型 create table employee(id string, perf map<string, string>) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY ',' --map形式key:value,
Hive常用函数
04-07
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析
hive数据导入map，struct结构字段
hellojoy的博客
03-02 1438
最近工作中向别的部门提供接口数据时有这样的需求 将下面的表格形式的数据的后两列输出为map形式 即这个形式： 然后用这个函数处理： str_to_map(concat_ws(',',collect_set(concat_ws(':',a.寄件省份,cast(a.件量 as string))))) as 寄件省份件量分布 注意：collect_ws这个函数会对元素数组去重，如果不去重用co...
HIVE MAP 函数使用
wuzhilon88的专栏
05-26 3318
hive 中 map<string,map<string,string>> 类型使用，构建写入数据案例 hive > select map('a','1'); OK {"a":"1"} Time taken: 1.058 seconds, Fetched: 1 row(s) hive> > > select map('a','1','b','2'); OK {"a":"1","b":"2"} hive> select m...
hive中，向map类型插入数据时，需要str_to_map一下
weixin_30340819的博客
12-21 799
如题 转载于:https://www.cnblogs.com/hark0623/p/5064670.html
HIVE map
花木兰
10-18 606
map 构造函数 map (key1, value1, key2, value2, …) Creates a map with the given key/value pairs demo select map("a", 1, "b", 2, "c", "dd") as m1, map("a", 1, "b", 2, "c", 3) as m2, map(1, 1, 2, 2, 3, 3) as m2 返回 m1 map<string,string> m2 map<s
HIVE中map类型操作
XIAOHUI_ID的博客
06-23 6519
HIVE中map类型操作 前言 今天写了一下hive中map类型字段，如何在原有基础上在增加新的值。 1.建表 代码如下（示例）： create table aa_test( name string, age int, source map<string,string> ) ROW FORMAT DELIMITED fields terminated by '\t' collection items terminated by ',' map keys terminated by ':'; 2
hive中的map函数
qq_29632521的博客
08-18 3711
在拼接画像标签的时候，了解到这个很少用的map函数。的确好用，不光节省资源，而且可以添加权重分值，还可以计算封装的标签的数量。 代码： flag：标签 cnt：权重 str_to_map(CONCAT_WS('&',COLLECT_SET(concat(t0.flag,":",cnt))),"&",":" ) mm 按照如上拼接之后，就可以把标签封装成一个map格式的字段，供后续使用。 ...
hive 常见函数 窗口函数 聚合函数 map相关函数 实例
xiaomengzhang的博客
09-27 2122
一、map的使用 map的具体k-v，例如：{k1:v1,k2:v2,k3:v3} 1、size(Map)函数：可得map的长度 2.map_keys(Map)函数：可得map中所有的key;返回值类型: array 3.map_values(Map)函数：可得map中所有的value;返回值类型: array 4.array_contains(map_keys(Map),'k1')：判断map中是否包含某个key值 5.split(Map['k1'],',')[1]： 在k-v对...
Hive Map类型使用与数据格式详解
"这篇资料主要介绍了Hive中的Map复合类型使用方法，并涵盖了...总结来说，这份资料不仅涵盖了Hive中Map类型的使用，还涉及到Hive的编译流程、数据加载与格式以及数据操作，是学习和理解Hive数据库操作的重要参考资料。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值