数据分析实战篇-Hive进阶函数(一)

本文介绍了Hive中的一些高级函数,包括cast、get_json_object、TRIM系列、explode、lateral view、regexpr_replace等,详细阐述了它们的使用方法和应用场景。特别是针对非结构化数据的处理,如json解析和正则表达式在数据清洗中的应用,为大数据分析提供了实用技巧。
摘要由CSDN通过智能技术生成

cast(string as bigint )其中string是数字+字符串类型时 - 返回值为null

get_json_object(str,'$[0]') 取出第一对  -键值对&键值

get_json_object(str,'$.~')  取出键值对为~ 的值

 

TRIM([{BOTH | LEADING | TRAILING} [remstr] FROM] str)

默认是both -两端,LEADING-前,TRAILING-后 ;   remstr 默认是空格;

LTRIM(str) 左去空格函数   

RTRIM(str) 左去空格函数

explode 行转列函数

例句:select explode(split(goods_id,',')) as goods_id  from explode_lateral_view 

适用对象:map结构字段、array结构字段

结果如下图

 

explodelateral view在关系型数据库中本身是不该出现的,因为他的出现本身就是在操作不满足第一范式的数据(每个属性都不可再分),

本身已经违背了数据库的设计原理(不论是业务系统还是数据仓库系统),不过大数据技术普及后,很多类似pvuv的数据,在业务系统中是存贮在非关系型数据库中,

json存储的概率比较大,直接导入

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值