【数据库】HIVE SQL之lateral view json_tuple和lateral view explode联合使用

         在工作中,处理数据时遇到的情况是多种多样的,这次就遇到一种相对有一丢丢复杂的情况,案例如下:

String类型的字段,案例如下:

[{"key":"upload-screenshot","value":false},{"key":"choice","value":"已解决"}]

          现在需要把key和value解析出来。乍一看,直接用get_json_object或者lateral view json_tuple不都可以么(之前博客中有讲过lateral view json_tuple)是相对高效的解析方式,大家可以参考小白之前的博文。

但是,可以看一下直接使用该函数的效果:我们随机从表中取一条数据,进行解析,首先需要先把[]去掉

select reply, key, vaule
  from (select reply, regexp_replace(reply_1, '\\}\\,\\{', ',') as reply_1
          from (select reply, regexp_replace(reply, '\\[|\\]', '') as reply_1
                  from table
                 where d = '2019-07-18'
                   and reply = '[{"key":"upload-screenshot","value":false},{"key":"choice","value":"已解决"}]'
                 limit 1
               ) c
       ) a lateral view json_tuple(reply_1, 'key', 'value') b as key,vaule

结果是:

replykeyvaule
[{"key":"upload-screenshot","value":false},{"key":"choice","value":"已解决"}]choice已解决

        这明显不是我们想要的结果,从这就可以看出来,我们首先要做的是把reply的内容,按照花括号给分开成多行,然后再进行解析。

       这里两个花括号之间的分隔符是逗号,这样不太好分割,那么就把这个逗号替换成分号,然后将每个花括号分成一行,一行转多行之后,再进行解析。

select reply, key, vaule
  from (select reply, reply_2
          from (select reply,
                       regexp_replace(reply_1, '\\}\\,\\{', '\\}\\;\\{') as reply_1
                  from (select reply,
                               regexp_replace(reply, '\\[|\\]', '') as reply_1
                          from table
                         where d = '2019-07-18'
                           and reply =
                               '[{"key":"upload-screenshot","value":false},{"key":"choice","value":"已解决"}]'
                         limit 1
                       ) c
               ) a LATERAL VIEW explode(split(reply_1, '\\;')) b as reply_2
       ) a lateral view json_tuple(reply_2, 'key', 'value') b as key,vaule

结果为:

replykeyvaule
[{"key":"upload-screenshot","value":false},{"key":"choice","value":"已解决"}]upload-screenshotfalse
[{"key":"upload-screenshot","value":false},{"key":"choice","value":"已解决"}]choice已解决

这样就解析出来了~

  • 4
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
课程概述教会学员快速学会python数据分析,覆盖python基础,pandas,seaborn,matplotlib,SQLsqlite,lambda等知识。课程是数据科学家居家必备的军火库。课程定期更新,大部分视频分辨率支持2K超清,学员可以看清每一行代码。 适合人群python数据科学从业人员,数据分析师,统计 学习计划和方法1.每天保证1-2个小时学习时间,预计7-15天左右可以学习完整门课程(不同基础学生时间差异较大)。2.每节课的代码实操要保证,建议不要直接复制粘贴代码,自己实操一遍代码对大脑记忆很重要,有利于巩固知识。3.第二次学习时要总结上一节课内容,必要时做好笔记,加深大脑理解。4.不懂问题要罗列出来,先自己上网查询,查不到的可以咨询老师。 作者介绍Toby,持牌照金融公司担任模型验证专家,国内最大医药数据中心数据挖掘部门负责人!和清华大学出版社,重庆儿科医院,中科院教授,赛柏蓝保持慢病数据挖掘项目合作!管理过欧美日中印巴西等国外药典数据库,马丁代尔数据库,FDA溶解度数据库,临床试验数据库,WHO药物预警等数据库。原创公众号(python风控模型) 课程概述教会学员快速学会python数据分析,覆盖python基础,pandas,seaborn,matplotlib,SQLsqlite,lambda等知识。课程是数据科学家居家必备的军火库。课程定期更新,大部分视频分辨率支持2K超清,学员可以看清每一行代码。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值