android解析json数据 no value for message_Hive使用lateral view和explode处理嵌套json

最近有个需求,需要解析数仓中某张表的某个字段,该字段为Json,且为嵌套的多层Json,Json数据格式化之后如下:

45c1ee0e988b9b263584321b616abafe.png

由于是生产环境上的数据,因此对于某些value以xxx进行替代,并不影响sql的编写

样例:

4abfb1f8f522f14553489fd82a2043fa.png

需求是需要提取出每个这种json中所有的brandName

思路1:

使用hive自带的get_json_object函数进行处理:

655d5b0bdf92f023e5ad0b83f79ced9d.png

尝试之后,发现最终的效果只能是取出其中一个brandname,并不能取出全部

思路2:

既然使用自带的json处理函数不能满足,那么就自己去开发一个udf函数,思路比较简单,只要将读入的每个json进行解析,一个for循环,将里面的brandName依次拿出来就行

思路3:

其实Hive SQL也可以一行sql直接搞定,没必要写什么udf,思路如下:

  1. 将json 以brand_name进行切分成多行 使用lateral view和explode进行配合处理
  2. 对每一行数据进行处理 提取出品牌名
  3. 剔除为数字的情况

SQL如下:

448bb4a4f1f4f5e828fffaf41afcb66c.png
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值