hive内置函数处理json数据

最新推荐文章于 2024-08-18 11:54:36 发布

树下AI

最新推荐文章于 2024-08-18 11:54:36 发布

阅读量1.3k

点赞数 2

分类专栏：大数据文章标签： hive json

本文链接：https://blog.csdn.net/weixin_46267444/article/details/120445199

版权

本文介绍了Hive中处理JSON数据的两种内置函数：get_json_object和json_tuple。get_json_object用于按路径获取JSON字符串的指定内容，支持取单层值和数组中的值。json_tuple则能一次性处理多个字段，返回值为String类型，可通过explode和lateral view进行数组展开，实现行转列。总结中强调了json_tuple在解析多个字段上的便利性，但处理嵌套结果时较为复杂。

摘要由CSDN通过智能技术生成

建表导入测试数据

CREATE TABLE IF NOT EXISTS jsont1( 
username string, 
age int, 
sex string, 
json string )
row format delimited fields terminated by ';'; 

load data local inpath '/data/lagoudw/data/weibo.json' overwrite into table jsont1;

内置函数一：get_json_object(string json_string, string path)
解析json字符串json_string，返回path指定的内容；

取单层值

select username, age, sex, 
get_json_object(json, "$.id") id, 
get_json_object(json, "$.ids") ids, 
get_json_object(j

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

树下AI

关注关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Hive第五天——Hive函数（JSON解析函数）

你怎么回事

09-26

1076

本文部分参考自：https://blog.csdn.net/qq_23897391/article/details/95091712 Hive第五天——Hive函数自己的话：千里之行，始于足下。每天都要保持前进，我势必要有强劲的实力，再跟明天的自己问好。 Json函数解析在工作中我们会经常遇到JSON格式的日志数据，本文来详细介绍在Hive中解析JSON字符串的函数： 1.get_jso...

渐渐的忘记，赶不上明天（读研ing，2024年毕业）

12-18

3642

1. 概述 2. get_json_object() （不推荐使用） 2.1 概述 2.2 例子 2.3 一个注意事项 3. json_tuple() （推荐使用） 3.1 概述 3.2 例子 3.3 一个注意点 4. 使用内置解析器JsonSerde

参与评论您还未登录，请先登录后发表或查看评论

HiveSQL：提取json串内容——get_json_oject和json_tuple

热门推荐

喜东东的博客

05-25

20万+

get_json_object(string json_string, string path) 说明：第一个参数填写json对象变量，第二个参数使用$表示json变量标识，然后用 . 或 [] 读取对象或数组；如果输入的json字符串无效，那么返回NULL。每次只能返回一个数据项。举例： data 为 test表中的字段，数据结构如下： data = { "store": ...

hive源码之get_json_object

数仓老六

09-12

1万+

大家好，我是老六。在数据开发中，我们有大量解析json串的需求，我们选用的UDF函数无非就是：get_json_object和json_tuple。但是在使用get_json_object函数过程中，老六发现get_json_object无法解析key为中文的key:value对。带着这个问题，老六通过源码研究了get_json_object这个函数，探索其中奥秘。

Hive：get_json_object（）函数

数据分析阿宇君的博客

04-03

1万+

get_json_object（）函数 get_json_object(string json_string, string path) 说明：第一个参数填写json对象变量，第二个参数使用$表示json变量标识，然后用 . 或 [] 读取对象或数组；如果输入的json字符串无效，那么返回NULL。每次只能返回一个数据项。举例： data 为 test表中的字段，数据结构如下： data =...

亲测！超好用 Hive 内置的 json 解析函数

Python+大数据+数据分析+自动化+Vue组件开发

06-15

6873

背景在大数据 ETL(Extract-Transfer-Load) 过程中，经常需要从不同的数据源来提取数据进行加工处理，比较常见的是从 Mysql 数据库来提取数据，而 Mysql 数据库中数据存储的比较常见方式是使用 json 串进行存储。通过大数据加工处理出来的数据是需要具有可直观分析的特点，可从数据分析中挖掘出商业价值的。因此在数据预处理层需要将 json 串进行“拍平”处理，所谓“拍平”是指将 json 中的 key 转换为表的列字段，其 key 对应的 value 值则为列字段对应的值。“拍

Hive自定义函数实现Json数据解析UDF开发（作业）

黄道婆的专栏

10-04

842

参考文章：https://www.pianshen.com/article/931082274/ 我做的工作：完全照猫画虎，一步步操作下来，写出完整的代码。 Json数据解析UDF开发（作业）作业：有原始json数据如下： {"movie":"1193","rate":"5","timeStamp":"978300760","uid":"1"} {"movie":"661","rate":"3","timeStamp":"978302109","uid":"1"} ...

【hive】hive内置函数

废物点心的博客

04-13

356

文章目录前言hive的本地模式hive 中窗口函数row_number,rank,dense_ran,ntile分析函数的用法ntileHive已定义函数介绍1、字符串长度函数：length2、字符串反转函数：reverse3、字符串连接函数：concat4、带分隔符字符串连接函数：concat_ws5、字符串截取函数：substr,substring6、类型转换7、左右去除空格函数8、正则表达式...

Hive 超赞的解析 Json 数组的函数

Python+大数据+数据分析+自动化+Vue组件开发

06-16

5475

大数据的 ETL(Extract-Transfer-Load) 过程的 Transfer 阶段，需要对 json 串数据进行转换“拍平”处理。亲测！超好用 Hive 内置的 json 解析函数一文中详细介绍过 get_json_object 和 json_tuple 函数如何对 json 串进行有效解析，但美中不足的是这两个函数都无法解析 json 数组，只能解析单个 json 串。今天的分享将会介绍 Hive 中常用于 json 数组的解析函数及详细使用方法。数据准备例如：Hive中有一张 test_j

Hive字符串、Json解析

认真学代码的shell

10-31

7773

json字符串解析

Hive_Hive中的Json数据解析函数 get_json_object & json_tuple

迎难而上

07-22

5657

Hive 基础用法

hive中get_json_object函数

weixin_72871448的博客

12-21

5959

hive中get_json_object函数

hive解析json

chimchim66的博客

04-21

3481

说明：lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据，在此基础上可以对拆分的数据进行聚合，lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一行或者多行，lateral view在把结果组合，产生一个支持别名表的虚拟表。我们进行ETL(Extract-Transfer-Load) 过程中,经常会遇到从不同数据源获取的不同格式的数据，其中某些字段就是json格式，里面拼接了很多字段。，今天讲一下如何解析出来相关数据。

大数据之Hive：get_json_object函数使用

weixin_43597208的博客

06-14

1万+

目录1.数据2.取出第一个json对象3.取出第一个json的age字段的值4.复杂案例 1.数据 [{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}] 2.取出第一个json对象 hive (gmall)> select get_json_object('[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]','$[

Hive解析json（get_json_object）

qq_41081716的博客

09-12

576

【Hive】解析json（get_json_object）_喜东东的博客-CSDN博客get_json_object(string json_string, string path)说明：第一个参数填写json对象变量，第二个参数使用$表示json变量标识，然后用 . 或 [] 读取对象或数组；如果输入的json字符串无效，那么返回NULL。每次只能返回一个数据项。举例： data 为 test表中的字段，数据结构如下： data ={ "store":...http

hive get_json_object json_tuple json解析详解

bitcarmanlee的博客

03-03

6281

1.hive中处理json的两个函数 json是常见的数据接口形式，实际中使用也很广泛，下面我们看看怎么在hive中解析json格式。 hive中常用的解析json格式的函数有两个：先看看get_json_object > desc function extended get_json_object; +---------------------------------------------------------------------------------------------------

hive处理json数据

06-06

Hive支持处理JSON数据，可以使用内置的JSON函数或者自定义UDF来实现。具体步骤如下： 1. 创建表时指定JSON格式的数据类型，例如： ``` CREATE TABLE mytable ( id INT, name STRING, info STRUCT< age:INT, address:STRING, phone:STRING > ) ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'; ``` 2. 将JSON数据导入到表中，例如： ``` LOAD DATA INPATH '/path/to/data.json' INTO TABLE mytable; ``` 3. 使用内置的JSON函数来查询JSON数据，例如： ``` SELECT id, name, info.age, info.address, info.phone FROM mytable; ``` 4. 自定义UDF来处理JSON数据，例如： ``` ADD JAR /path/to/myudf.jar; CREATE TEMPORARY FUNCTION get_json_value AS 'com.myudf.JsonGetValue'; SELECT get_json_value(info, 'age') FROM mytable; ``` 其中，`JsonGetValue`是自定义UDF的类名，用于从JSON中获取指定的值。需要注意的是，Hive处理JSON数据的性能可能不如其他专门的JSON数据处理工具，因此在处理大规模的JSON数据时需要谨慎考虑。