数仓工具—Hive实战之UDF 复杂JSON 处理(21)

已于 2022-04-11 17:31:49 修改
阅读量5.1w 收藏 2
点赞数 1
分类专栏： Hive 实战 文章标签： hive 数据仓库 UDF
于 2022-04-03 12:55:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/king14bhhb/article/details/123935880
版权
本文介绍了如何使用Hive的GenericUDF解决复杂JSON处理问题，特别是在将数据推送到ES的场景下。文章详细展示了如何编写和验证GenericUDF，以优雅地处理JSON数据，避免复杂的SQL操作，并提供了一种更高效、更通用的解决方案。
摘要由CSDN通过智能技术生成

UDF 复杂JSON 处理

这个的背景和我们前面的复杂JSON 处理是一样的，起源于我们将数据推送到ES ,不然的话我们直接存储字符串，然后使用hive 提供的json 解析函数处理就好了。

阅读之前建议你阅读：
Hive语法之json 解析

​ Hive语法之复杂json解析处理

​ Hive集成篇之ES

方便你了解这个背景，以及我们为什么要这么做，我们在复杂json解析的时候说过，其实我们还有两种其他解决方案，因为我们通过SQL 来解析的这个过程还是有点复杂的，经过了一些列的解析，你可以看前面的文章进行了解,核心代码如下

select    
    named_struct(
了解本专栏 订阅专栏 解锁全文 超级会员免费看
不二人生
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
数仓工具—Hive实战之UDF汉字首字母(22)
04-11 5万+
UDF 汉字首字母 今天这个业务背景其实很简单，就是公司有很多品牌，我们要提取每个名牌的第一个汉字的首字母，例如"宝马"就是 B , 然后"福特" 就是F,“长安” 就是C 。 业务背景差不多就是这样的，关于UDF 我就不再过多介绍了，已经介绍过无数次了，你可以参考前面的文章 Hive实战之UDF分词 Hive实战之UDF解析IP地址 Hive实战之UDF 加密 Hive 实战之UDF 复杂JSON 处理 所以这里我们直接上代码，出解决思路就可以了 pinyin4j 获取汉字的拼音 pinyin4j是一
Hive-JSON-Array-UDF:一个UDF从嵌套的JSON数组中检索元素，并作为HiveQL数组返回
05-19
Hive嵌套JSON Arrray UDF 此UDF接收“ JSON字符串”和JSON数组的路径，并收集此路径指定的所有元素（也处理嵌套的JSON数组）。 例子： 假设此JSON在某些表的行中： { " request " : { " user " : " Mario " , " location " : " His house. " , " siblings " : [ " Luigi " ], " countries " : [ { " name " : " USA " , " regions " : [ " California " , " New York " , " Washington " ] }, { " name " : " Japan " , " regions " : [ " Tokyo " ,
hive python udf 解析json格式数据
chenhua_搬砖工程师的博客
06-13 358
hive python udf 解析json 格式数据
Hive中处理json类型数据
最新发布
2301_77543963的博客
07-01 309
1、利用函数进行抽取处理。
hive-udf正常数据转化为json形式(二)
huobumingbai1234的博客
10-08 1891
之前都是手动拼字符串写的，优点是灵活，缺点也很明显，容易出错。 下面提供一种udf的形式： package udf; import com.aliyun.odps.udf.UDF; public class TableBulidJson extends UDF { public String evaluate(String ... params) { if (params == null || params.length == 0 || params.length % 2
使用hive UDF格式化Linux字符串成json对象
如果能思维清晰，从上往下，不断深入，就好了~~~
12-24 685
回顾项目中一个小部分，通过表字段名与字段值生成json对象，这个json对象通过表中的另一个字段查询 package com.tl.g3.hive.udf; import org.apache.hadoop.hive.ql.exec.UDF; import com.alibaba.fastjson.JSONObject; public class JsonFormatUDF extends...
hive Serde解析复杂json串
gj_user的博客
08-09 829
使用hive-json-schema自动生成建表语句，Serde解析器解析JSON文件
数仓工具—Hive实战之 UDF GIS(16)
热门推荐
07-18 6万+
UDF GIS 什么是GIS GIS，全称Geographic Information System（地理信息系统）, 也称为Geographic Information Science，即地理信息科学，这样的定义是所有人再熟悉不过的了。刚学GIS的时候，看到有人说GIS是个朝阳产业，但是它永远都到不了正午。这自然是一句调侃，但也无不包含着GISer的心酸，因为GIS的定义，很多在学校和行业里学习摸爬了很多年的人也未必说得上来，进而它的作用自然也就变得模糊了起来。 GIS在发达国家亦不算是一门成熟的学科，更
数仓工具—Hive实战之GenericUDF使用详解(24)
02-08 3万+
GenericUDF 使用起来相比UDF 更复杂，但是我们也介绍了它支持复杂数据结构，性能更高，需要注意的是GenericUDF是抽象类不是接口，关于GenericUDF的使用的复杂案例可以参考我们的UDAF批量调用外部请求。
数仓分层 数据库仓库实战
福州大数据 hadoop学习
06-08 611
回到顶部 数仓分层 ODS：Operation Data Store 原始数据 DWD(数据清洗/DWI)data warehouse detail 数据明细详情，去除空值，脏数据，超过极限范围的 明细解析 具体表 DWS(宽表-用户行为，轻度聚合)data warehouse service ----->有多少个宽表？多少个字段 服务层--留存-转化-GMV-复购率-日活 点赞、评论、收藏; 轻度聚合对DWD ADS(APP/DAL/DF)-出报表结...
hive中UDF开发：解析json对象和解析json数组对象
Haiwi-Song
04-20 9858
　　查阅hive的UDF函数指南可知，虽然udf中的get_json_object和json_tuple能对json解析，但有时候没法实现复杂业务扩展，同时也没有UDF对JSON数组的解析，因此，很多时候需要自己实现解析JSON的UDF，写UDF中如果使用大量开源库（例如fastjson或gson）则会直接导致生成的jar依赖较大，并不是最理想的，本博文查阅了hive源码，发现hive内部用JSO...
hive 解析 json 数据
大数据精读周刊
07-16 1343
文章目录hive 解析 json 数据1. 取出单个字段2 .同时取多个字段 hive 解析 json 数据 有这么两个函数：get_json_object()和json_tuple() 1. 取出单个字段 get_json_object(STRING json_string, STRING path) get_json_object函数 第一个参数填写json对象变量， 第二个参数使用$表示json变量标识，然后用 . 或 [] 读取对象或数组； 举个例子 select get_json_obje
hive：创建udf函数将多个字段转为json并推给kafka
不花的花和尚的博客
01-08 2144
代码： package com.***; import org.apache.hadoop.hive.ql.exec.Description; import org.apache.hadoop.hive.ql.exec.UDFArgumentException; import org.apache.hadoop.hive.ql.metadata.HiveException; import o...
Hive如何解析复杂的json字符串嵌套结构
weixin_46429290的博客
03-01 4117
内容目录Hive解析json字符串一、json格式二、Hive解析json Hive解析json字符串 json类似于python的字典，类似于key-value格式，但是可以实现嵌套的数据结构 一、json格式 json简单格式： { "name":"Tom", "age":20, "sex":"male" } 上面是简单的json格式，还可以有复杂的嵌套格式 { "name":"Tom", "age":20, "sex":"male", "friend":["Jerry",
hive使用自定义UDF处理json数据数组
weixin_46267444的博客
09-25 982
前期准备部分 测试数据 user1;18;male;{"id": 1,"ids": [101,102,103],"total_number": 3} user2;20;female;{"id": 2,"ids": [201,202,203,204],"total_number": 4} user3;23;male;{"id": 3,"ids": [301,302,303,304,305],"total_number": 5} user4;17;male;{"id": 4,"ids": [401,402
hive udf 大小写转换，解析json案例
qq_39674417的博客
02-09 561
把 hive 安装目录下的lib 添加到java项目中 简单UDF示例 1、先开发一个java类，继承UDF，并重载evaluate方法 package com.hive.udf; import org.apache.hadoop.hive.ql.exec.UDF; public class ToLowerCase extends UDF { public String evaluate(String field) { ...
UDF解析json
weixin_39471936的博客
03-08 709
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。本文描述了HIve的一些基本操作，如有错误之处还请指出。 常用语法 #显示相关...
Hive UDF处理海量数据：从安装到实战应用
在大数据时代，Hive作为一种流行的数据仓库工具，是Apache Hadoop生态系统的重要组成部分。它被设计用于管理和查询大规模结构化和非结构化数据，尤其是在Hadoop分布式文件系统(HDFS)和MapReduce计算模型的基础上。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不二人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值