hive的json格式

hive是没有json的数据类型的,所以如果要生成json格式的话,我尝试了有3中方法呈现出来

1.concat  2.collect_set+map 3.udf

首先说1.concat 可以通过 

这种数据类型是string,且可以通过 get_json_object() 进行解析,验证数据可以通过get_json_object(json, '$') IS NULL 来实现。缺点就是性能一般。插入空值数据的话只需要insert into values(null) 

第二个collect_set/array+map ,如果通过这个数据格式去合json的话,它的的数据类型就不能是string(因为数组不支持强转str类型 ),就是你合了以后 不能通过get_json_object,也不能插入string类型的字段中,只能放在array<map<string,string>>里,目前验证数据的话我通过size(json)>0 来验证条数。我能想到优点就是效率会快点。如果要通过insert into插入数据比较麻烦,需要insert into values (array(map(null,null),map(null,null)) 格式需要严格按照 array(map(),map()),不然会报错

第三个就是udf。啊这我不太感觉更慢点。还得敲代码(当然我比较菜)

对我来说使用场景如果是提供给外部es,kafka这些的话我就用第二个,效率会快了那么一点

如果需要在hive上处理数据的情况下,我就使用第一种。第三种目前在学习中。小小见解,欢迎指正

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值