HIVE之Map数据类型应用

最新推荐文章于 2025-01-29 11:16:35 发布
最新推荐文章于 2025-01-29 11:16:35 发布
阅读量2.4k 收藏 7
点赞数 3
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a18302465887/article/details/105619727
版权
使用场景

场景一 (博主实际使用场景)

  • 因为公司近期涉及埋点数据的业务逻辑,对于扩展字进行补充因此采用map数据类型存储扩展字段.

场景二 (其他业务场景)

  • 场景2.1
    我的项目里，生成的一个中间表，为了优化性能，里面有一列最好是个数组，因为如果把数组打散，每行上存一个元素，会因为其他列的重复导致数据量爆炸。首先想从上游表中生成这个数组，搜索半天文档，发现唯一的方式是把源数据列先转STRING，再用wm_concat聚合，再用split函数打散成ARRAY ，这样原来类型信息丢了，不过STRING似乎也能用，好，继续。后面的运算有个地方需要取数组最后一个元素，试图用数组下标配合size函数，my_array[size(my_array)], 发现报告错误，下标必须是常量，可是我的数组不是定长的，看看有没有函数能反转数组呢？没有！最后不得不放弃使用数组。。。

  • 场景2.2
    我的任务是为每个广告生成一个曲线，代表随着广告商的出价由低到高，预计的impression, click次数的曲线。最自然的表达是有个数据结构，里面存着出价，impression次数，click次数。可是ODPS不支持这样的用法，只好encode成一个字符串，每次操作先编码，再解码。好麻烦，效率也很差，可是没有办法。。。

工具

  • 作者使用的阿里云maxcompute工具,数据源在ES 使用阿里云数据集成脚本

最低0.47元/天 解锁文章
hive数据类型共6页.pdf.zip
10-29
下面我们将深入探讨 Hive 的数据类型及其应用场景。 1. **基本数据类型** - **STRING**：字符串类型，用于存储文本数据，可以包含任何字符。 - **BOOLEAN**：布尔类型，只有两个取值：TRUE 和 FALSE。 - **...
hive复杂数据类型之 map映射
wowulita123的博客
05-08 2114
好了，今天的map映射介绍就分享到这里，已经给大家讲的非常详细了，大家在实际的工作中可能不太能用得上，但是作为一个优秀的程序员，很多东西你可以不用，不掌握，但是你不能不知道有这么一个东西！！知道才是王道，万一在代码开发中需要用呢？？？你可以想起这篇文章。欢迎一键三连，您的鼓励是我创作的动力。
Hive中的map类型及其操作
m0_67392661的博客
03-20 6860
–创建表，并定义map类型 create table employee(id string, perf map<string, string>) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' COLLECTION ITEMS TERMINATED BY ',' --map形式key:value,k
Hive:复杂数据类型之Map函数, 展开数据＞＞explore爆炸函数,concat_ws字符串拼接函数, 字符串转成map＞＞str_to_map函数
最新发布
weixin_40121264的博客
01-29 1101
建表: 定义map的2个属性, key的数据类型是string, value的数据类型是int , 创建表的hql末尾除了定义行的分隔符,数组元素的分隔符外还需要定义key之间的分隔符(map中一个键值对是一个元素)它的全称是 "concatenate with separator"，即带分隔符的字符串连接。Map中的键和值可以是基础类型或复合类型，这使得Map在处理需要关联存储信息的数据时非常有用。函数的第一个参数是分隔符，后面的参数是要连接的字符串。SEP分隔符自定义,可以不必是数组里的分隔符。
hive中的复杂类型struct、array、map
worldchinalee的博客
05-11 6001
创建一个员工表：create table if not exists employees( name string, salary float, subordinates array&lt;string&gt;, deductions map&lt;string,float&gt;, address struct&lt;street:string, city...
Hive 复杂数据类型之map
鸭梨的博客
12-27 4631
定义格式如下： create table tableName( ....... colName map<T,T> ...... ) 案例准备： 测试数据如下 zhangsan chinese:90,math:87,english:63,nature:76 lisi chinese:60,math:30,english:78,nature:0 wangwu chinese:89,math:25 create table if not exists map1( name string,
如何在 Hive SQL 中处理复杂的数据类型？
石榴姐yyds
01-05 1101
Arrays：存储有序元素的集合，元素类型相同。Maps：存储键值对的集合，键和值可以是不同的数据类型。Structs：存储不同数据类型的元素，类似于对象或记录。
大数据技术之Hive(Hive数据类型)
杨一凡的博客
02-12 562
大数据技术之Hive(Hive数据类型) Hive数据类型 1.1 基本数据类型 对于Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数。 1.2 集合数据类型 Hive有三种复杂数据类型ARRAY、MAP 和 STRUCT。ARRAY和MAP与Java中的Array和Map类似，而S...
Hive之Map常用方法
weixin_43597208的博客
09-20 1万+
实际工作中，有时会出现map复杂数据类型，字段field1形式如：{‘k0’:‘abc’,‘k1’:‘01,02,03’,‘k2’:‘456’}，如果是string形式，我们可以适用get_json_object 函数，取出对应的value值，具体如：get_json_object（field,‘$.k0’），即可取出值abc,如果是map数据类型，这个值该怎么取呢？可以适用field[‘k0’]这种形式取出abc，顺便把map数据类型的常用方法做个总结；
hive中map相关函数总结
weixin_43597208的博客
12-21 4298
具体来说，str_to_map 函数会将一个由键值对组成的字符串解析成一个 Map 对象，其中键和值之间使用指定的分隔符进行分隔。其中，str 是要转换的字符串，delimiter1 是键值对之间的分隔符，delimiter2 是键和值之间的分隔符。第三种sql,maps字段的类型是map;给出一组学生数据，有名字，课程，等级，分数等字段，现在求每门课的情况，包含平均成绩，及这门课包含哪些学生及学生的等级。问题来了，能否在第二种的基础上，实现第一种和第三种的结果，且字段类型是string;
HIVE map
花木兰
10-18 632
map 构造函数 map (key1, value1, key2, value2, …) Creates a map with the given key/value pairs demo select map("a", 1, "b", 2, "c", "dd") as m1, map("a", 1, "b", 2, "c", 3) as m2, map(1, 1, 2, 2, 3, 3) as m2 返回 m1 map<string,string> m2 map<s
Hive复杂数据类型(array类型、map类型、struct类型)
2202_75347029的博客
09-06 4253
一、array类型建表语句：create table 表名(要素1 类型，要素2 类型，要素3 array) row format delimited fileds terminated by '\t' collection items terminated by ',';
Hive集合数据类型(STRUCK,MAP,ARRAY)
Knight
12-08 944
Hive有三种复杂数据类型ARRAY、MAP 和 STRUCT。ARRAY和MAP与Java中的Array和Map类似，而STRUCT与C语言中的Struct类似，它封装了一个命名字段集合，复杂数据类型允许任意层次的嵌套。 案例实操 1） 假设某表有如下一行，我们用JSON格式来表示其数据结构。在Hive下访问的格式为 { "name": "songsong", "friends": ["bingbing" , "lili"] , //列表Array, "childre
Hive 特殊的数据类型 Array、Map、Struct
JIE的博客 --- moon_coder
05-11 1918
获取数组值的方式和我们在 Java 中一样，采用下标的方式访问，当访问的下标超过数组的长度时，并不会报错，它会返回。这里值 Value 中存在整型和字符型数据类型不统一的情况，它会统一将值 Value 都转换成字符型。Map 是 KV 键值对类型，其中存储的字段数量可多可少，但是 KV 键值对的数据类型必须提前确定。和 Map 一样，它会将前面的数据当作 Key，后面的数据当作 Value，两两组合，形成结构体。它会将前面的数据当作 Key，后面的数据当作 Value，两两组合，形成 Map 集合。
hive中的map函数
qq_29632521的博客
08-18 3741
在拼接画像标签的时候，了解到这个很少用的map函数。的确好用，不光节省资源，而且可以添加权重分值，还可以计算封装的标签的数量。 代码： flag：标签 cnt：权重 str_to_map(CONCAT_WS('&',COLLECT_SET(concat(t0.flag,":",cnt))),"&",":" ) mm 按照如上拼接之后，就可以把标签封装成一个map格式的字段，供后续使用。 ...
hive复杂类型数据详解—array,map,struct
热门推荐
weixin_40474941的博客
03-03 2万+
hive复杂数据类型有三种，map，array，struct。本文会详细介绍三种类型数据的建表、查询、相关函数以及与其他数据类型的相互转换。 目录一、简介二、建表语句三、类型构建四、查询array类型map类型struct类型五、与其他数据类型转换将array和map转化为基本数据类型（行转列）基本数据类型转化为array、map（列转行） 一、简介 map 是一种(key-value)键值对类型； array 是一种数组类型，array 中存放相同类型的数据； struct 是一种集合类型。 二、建表语句
hive map端聚合
iteye_13991的博客
07-02 3614
set hive.map.aggr=false; set hive.optimize.skewjoin=true; set hive.exec.reducers.max=100; 设置了这个几个参数后。 是可以正常跑完的。 set hive.map.aggr.hash.min.reduction=0.5;设置这个不禁止mapagg的话，也是会挂掉。 -------...
HIVE Map和Reduce数量 优化点
xw514124202的博客
03-18 575
一、Map的数量是怎么计算 A、在什么情况下 应该增加Map数量 B、在什么情况下 应该减少Map数量 二、Reduce的数量是怎么计算 代码位置：org.apache.hadoop.hive.ql.exec.mr.MapRedTask 函数：setNumberOfReducers、estimateNumberOfReducers 影响参数： mapred.reduce.tasks （用户直接设...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值