背景,将日志中的打印的出入参(JSON格式)导出到hive中后需要使用hive的函数来处理
需要使用到的hive函数
REGEXP_EXTRACT
https://help.aliyun.com/zh/maxcompute/user-guide/regexp-extract?spm=a2c4g.11186623.0.i2
作用:将数组格式的"[“和”]"去掉
REGEXP_EXTRACT(item_id_json,‘^\[(.+)\]$’)
示例:作用是去掉最前面的[和最后面的],只有处理数组格式才需要,注意嵌套数组格式需要特别注意,不要直接去掉所有的[]
REGEXP_REPLACE
https://help.aliyun.com/zh/maxcompute/user-guide/regexp-replace?spm=a2c4g.11186623.0.i8
作用:替换掉数组格式中的"},{“为”}|{“,将数组中的每个对象连接的位置设置为一个特殊的分割符用于分割
REGEXP_REPLACE(resp,‘\}\,\{\"item’,‘};{"item’)
示例:作用是将字符串中的”\}\,\{\“item"替换为”};{“item”,值得注意的是,第二个参数是需要转义符的,第三个是不需要的,在FBI中需要使用\},三个转义符,因为要多一层转义,如果直接在hive中运行只需要两个转义符就可以了
SPLIT
https://help.aliyun.com/zh/maxcompute/user-guide/split?spm=a2c4g.11186623.0.i12
作用:切割
SPLIT(resp,‘\;’)
示例:作用是将字符串根据;切割为数组形式,hive中的array形式
EXPLODE
https://help.aliyun.com/zh/maxcompute/user-guide/explode?spm=a2c4g.11186623.0.i15
作用:将一条数据转换为多行
他是一个UDTF函数
能够打平JSON,详情看阿里云的文档或者自己试一下吧
LATERAL VIEW
https://help.aliyun.com/zh/maxcompute/user-guide/lateral-view?spm=a2c4g.11186623.0.i1
作用:该函数能够和UDTF函数结合把单行数据拆分成多行数据
JSON_TUPLE
https://help.aliyun.com/zh/maxcompute/user-guide/json-tuple?spm=a2c4g.11186623.0.i5
作用:该函数用于从JSON对象中抽取数据