hive处理JSONARRAY字符串

背景,将日志中的打印的出入参(JSON格式)导出到hive中后需要使用hive的函数来处理

需要使用到的hive函数

REGEXP_EXTRACT

https://help.aliyun.com/zh/maxcompute/user-guide/regexp-extract?spm=a2c4g.11186623.0.i2
作用:将数组格式的"[“和”]"去掉
REGEXP_EXTRACT(item_id_json,‘^\[(.+)\]$’)
示例:作用是去掉最前面的[和最后面的],只有处理数组格式才需要,注意嵌套数组格式需要特别注意,不要直接去掉所有的[]

REGEXP_REPLACE

https://help.aliyun.com/zh/maxcompute/user-guide/regexp-replace?spm=a2c4g.11186623.0.i8
作用:替换掉数组格式中的"},{“为”}|{“,将数组中的每个对象连接的位置设置为一个特殊的分割符用于分割
REGEXP_REPLACE(resp,‘\}\,\{\"item’,‘};{"item’)
示例:作用是将字符串中的”\}\,\{\“item"替换为”};{“item”,值得注意的是,第二个参数是需要转义符的,第三个是不需要的,在FBI中需要使用\},三个转义符,因为要多一层转义,如果直接在hive中运行只需要两个转义符就可以了

SPLIT

https://help.aliyun.com/zh/maxcompute/user-guide/split?spm=a2c4g.11186623.0.i12
作用:切割
SPLIT(resp,‘\;’)
示例:作用是将字符串根据;切割为数组形式,hive中的array形式

EXPLODE

https://help.aliyun.com/zh/maxcompute/user-guide/explode?spm=a2c4g.11186623.0.i15
作用:将一条数据转换为多行
他是一个UDTF函数
能够打平JSON,详情看阿里云的文档或者自己试一下吧

LATERAL VIEW

https://help.aliyun.com/zh/maxcompute/user-guide/lateral-view?spm=a2c4g.11186623.0.i1
作用:该函数能够和UDTF函数结合把单行数据拆分成多行数据

JSON_TUPLE

https://help.aliyun.com/zh/maxcompute/user-guide/json-tuple?spm=a2c4g.11186623.0.i5
作用:该函数用于从JSON对象中抽取数据

  • 3
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值