hive读取json数组并转换成多行（列转行）

最新推荐文章于 2023-12-05 17:34:22 发布
最新推荐文章于 2023-12-05 17:34:22 发布
阅读量5k 收藏 4
点赞数 1
分类专栏： Hive学习 大数据学习 Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iilegend/article/details/104635363
版权
这篇博客介绍了如何在Hive中处理包含JSON数组的字段，将数组内容拆分成多行。通过数据清洗、替换间隔符、split操作及lateral view explode函数的使用，实现了将JSON数组转换为单独的行记录。
摘要由CSDN通过智能技术生成 
背景：在读取hive表中某一些字段的时候，有的json字符串其中会包括数组，那么想要读取这个数组并且转换为多行该怎么操作那？
操作：
1、数据举例：

["[{\"pet_skill_avg_level\":0,\"pet_guard_star\":0,\"pet_type\":0,\"pet_step\":0,\"pet_skill_num\":0,\"pet_adv_score\":0,\"pet_level\":0,\"pet_fight_star\":0,\"pet_id\":\"0\"},{\"pet_skill_avg_level\":0,\"pet_guard_star\":0,\"pet_type\":0,\"pet_step\":0,\"pet_skill_num\":0,\"pet_adv_score\":0,\"pet_level\":0,\"pet_fight_star\":0,\"pet_id\":\"0\"},{\"pet_skill_avg_level\":0,\"pet_guard_star\":0,\"pet_type\":0,\"pet_step\":0,\"pet_skill_num\":0,\"pet_adv_score\":0,\"pet_level\":0,\"pet_fight_star\":0,\"pet_id\":\"0\"},{\"pet_skill_avg_level\":0,\"pet_guard_star\":0,\"pet_type\&
最低0.47元/天 解锁文章
ZhuangYQ丶
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive json数组转成多行
wachoo的blog
03-18 3522
Hive 中json数组转行
HIVE多行转多列 和 多列转多行
01-07
1、HIVE多行转多列 源数据样式 把CAMERA_NO，RESULT_DATA两列转换为CAMERA_NO字段的数据为列名，RESULT_DATA字段对应CAMERA_NO的数据为值 方法一：利用str_to_map函数 alter table ods.iot.iot_5060_iotdaq.5060_aac_mtf_meas_results_new add if not exists partition(date='{DATE}' ,hour='{HOUR}',minutes='{MINUTES}'); insert overwrite table ods.iot.iot_5060_io
Hive列数组转换多行
liuygvip的博客
01-29 300
数据仓库常用的统计转换，列转行
hive与presto解析json数组并拆分为多行
热门推荐
星空的风fly
09-10 1万+
1。regexp_extract 语法: regexp_extract(stringsubject, stringpattern, intindex) 返回值:string 说明： 将字符串subject按照pattern正则表达式的规则拆分，返回index指定的字符。 第一参数： 要处理的字段 第二参数: 需要匹配的正则表达式 第三个参数: 0是显示与之匹配的整个字符串 1 是显示第一个括号里面的 2 是显示第二个括号里面的字段... SELECT CO.........
HIVE自定义函数传入JSON串，一行转多行
qq_46631404的博客
09-18 871
创建一个UDTF函数，实现功能为 传入一个JSON字符串 {"movie": [{"movie_name": "肖申克的救赎", "MovieType": "犯罪" }, {"movie_name": "肖申克的救赎", "MovieType": "剧情" }]} 解析其中的movie_name和MovieType转换为两列多行的结果
hivesql解析json数组并拆分成多行
woods的博客
03-05 6396
原始数据： [{"name":"woods","app_id":"abc123"},{"name":"tiger","app_id":"def456"}] 数据存在表dev.woods_test中 需求与方法： 解析json，一行拆分成两行 select a_json from ( select split(regexp_replace(regexp_extract (json_col ,...
hive-udf-处理JSON数组
05-19
hive_udf_处理JSON数组
hive2.1.1中orc格式读取报数组越界错误解决方法
05-24
在Hive 2.1.1版本中，ORC（Optimized Row ...总之，当Hive在读取ORC格式数据时出现“数组越界”错误，可以考虑更新相关的jar包，特别是执行引擎和ORC处理库。同时，保持集群的维护和更新是避免这类问题的有效策略。
cdh-hive2.1.1版本orc格式表读取包数组越界替换包
05-18
cdh-hive2.1.1版本orc文件读取数据报错替换包: Caused by: java.lang.ArrayIndexOutOfBoundsException: 7 at org.apache.orc.OrcFile$WriterVersion.from(OrcFile.java:145) at org.apache.orc.impl.OrcTail....
Hive-JSON-Array-UDF:一个UDF从嵌套的JSON数组中检索元素，并作为HiveQL数组返回
05-19
Hive嵌套JSON Arrray UDF 此UDF接收“ JSON字符串”和JSON数组的路径，并收集此路径指定的所有元素（也处理嵌套的JSON数组）。 例子： 假设此JSON在某些表的行中： {" request " : {" user " : " Mario " ," ...
Hive字符串数组json类型取某字段再列转行
仙道Bob的专栏
08-23 1354
hive 数组 json 列转行
hive处理json数据_Hive json数组解析 - 实现json数据的列转行
weixin_39646725的博客
12-22 925
Hive json数组解析 - 实现json数据的列转行hive中解析json字符串常用的函数是get_json_object, 但对于数组形式存储的, 如下名字marked_json的字段:[{"id":559,"labelType":3,"labelCode":"BUMANYI","labelName":"不满意","isGrouped":1},{"id":560,"labelType":3,...
hive 解析json对象的数组，并完成列传行
月下小溪
10-21 583
参考链接：https://blog.csdn.net/lfq1532632051/article/details/63262519 直接上例子，下面是我要处理的 json 数据格式 { "IP": "192.168.1.1", "appName": "sichuan_yunyingyong", "customEvent": [ { "eventName": "xx1", "du": "xx", ...
HIVE的参数配置、行转列 列转行 json相关 窗口函数
qq_59472803的博客
10-06 813
1、Hive的参数配置 ./hive 是hive的第一代客户端，次客户端，主要有两大作用 用于执行一些交互式或者批处理的操作，第二大作用，是用于启动hive的各项服务 第一大作用：交互式（了解） ./hive 进入交互式 进入之后，可以在客户端内部，不断和hive进行相关操作，在一个会话中，可以不断和hive进行交互 批处理 批处理: 指的在不进入hive的交互窗口下, 即可操作hive, 主要是linux的命令行下操作 好处: 主要的目的是为了后续在linux的脚本中连接hive进行
hive中函数--一个数组值转为多行；多行的值变成一个数组
u013983161的博客
04-23 2081
1.多行转换为一行的函数collect_list,collect_set collect_list:不去重，多行变成一行，实际上就是变成一个数组 collect_set:去重 2.concat_ws将数组中的值用指定分隔符拼接起来 2.一行转成多行 explode(col):将hive一列中复杂的array或者map结构拆分成多行 lateral view 用法：lateral view udtf(expression) tablealias as columnalia..
HIVE SQL 多行转多列&多列转多行
爱吃干脆面的小潘
03-10 3047
目录多行转多列多列转多行 多行转多列 #创建新表 create table t1 (a integer comment "年份", b string comment "部门", c integer comment "绩效得分"); #向表中插入数据 insert into t1 (a,b,c) values (2014,"B",9),(2015,"A",8),(2014,"A",10),(2015,"B",7); 表预览如下： 现需要将该表多行转多列，转后的效果如下： 实现代码： select t1.
Hive中的行转列和列转行
zhr2415658919的博客
12-05 2599
在使用Hive的数据开发工作中，为了处理复杂的业务需求，经常要用到行转列或列转行的操作。为了节省以后处理这类工作的时间，提高工作效率，现将Hive行列互转的操作方法总结如下。列转行，顾名思义，将原本某列中一行的数据拆分为多行，该操作会使得数据行数增多。我们采用的方法是使用LATERAL VIEW语法，配合explode函数（或其他UDTF）Hive中是有可以直接将一行输出为多行的函数的（即UDTF），比如explode函数，举一个例子来说明这个函数的用法，数据集如下： 其中score字段为数组ARRAY(B
Hive解析任务-将json的多个属性拆分成多条记录
遥望......
07-28 716
需求环境： 在hive表dwb.dwb_r_thrid_data中，data字段存放有json字符串 需要从json字符串中，解析到需要的字段：将一个json里面的属性data.loanInfo.mobile.timeScopes.D360、data.loanInfo.mobile.timeScopes.D90所包含的字段分别解析成一条记录，并且将D360、D90也作为字段timeSc...
Hive中“一行变多行”、“多行合成一行”的实现实例
10-10 8460
[ Author: Fu Renjie ] Ø  一行变多行过程： // 一行拆分多行的操作：主要是拆分subcat不为空的记录，sql语句如下： insert into table today_cust_behavior_single select msisdn ,flow_start,flow_end,kk as subcat from today_cust_behavi
hive处理json数组
最新发布
12-13
在Hive中处理JSON数组可以使用Lateral View和Json_tuple函数。具体步骤如下： 1. 创建一个包含JSON数组的表格。 2. 使用Lateral View和Json_tuple函数来解析JSON数组。 具体代码如下： ```sql -- 创建一个包含JSON数组的表格 CREATE TABLE json_array_table (id INT, json_array STRING); -- 插入数据 INSERT INTO json_array_table VALUES (1, '[{"name":"zhangsan","age":18},{"name":"lisi","age":20}]'); -- 使用Lateral View和Json_tuple函数来解析JSON数组 SELECT id, name, age FROM json_array_table LATERAL VIEW json_tuple(json_array, 'name', 'age') jt AS name, age; ``` 解析结果如下： ``` +----+--------+-----+ | id | name | age | +----+--------+-----+ | 1 | zhangsan| 18 | | 1 | lisi | 20 | +----+--------+-----+ ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值