数仓工具—Hive语法之复杂json解析处理(20)

不二人生

已于 2022-11-30 21:43:57 修改

阅读量5w

点赞数 1

分类专栏： Hive 实战文章标签：数据仓库 json 解析 hive复杂json

于 2022-03-28 22:45:39 首次发布

本文链接：https://blog.csdn.net/king14bhhb/article/details/123808740

版权

Hive 实战专栏收录该内容

119 篇文章 72 订阅 ¥59.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了在Hive中处理复杂JSON数据的方法，包括使用str_to_map函数与regexp_replace配合处理JSON字符串，以及如何利用STRUCT解决JSON存储和解析问题。在面对无法用map直接表示的结构化程度较低的JSON时，使用STRUCT定义数据结构，并通过named_struct构造数据，最终成功导入ES。

摘要由CSDN通过智能技术生成

复杂json解析处理

其实前面我们写过json 的处理，可以参考 Hive语法之Json 数据处理,但是我们今天为什么又要提呢，事情的起因是要把数据导入到ES里面去，要导入的数据是算法处理的结果，是一个比较复杂的JSON。我直接将这个字段存储成了一个字符串，但是导入到ES 后傻眼了，发现这个格式在ES 里面并不能被解析，直接当成了一个字符串，我的数据如下

{
    "success":true,
    "status":200,
    "msg":"执行成功",
    "data":{
        "keywords":null,
        "extractedInfo":[
            {
                "extractedDomain":null,
                "extractedDimension":"null",
                "extractedAttribute":"null",
                "extractedProperty":"null",
                "e