HIVE SQL / map 数据类型和json处理

本文探讨了在HIVE SQL中处理map数据类型,特别是如何从map中提取特定键值,如'fee',并将其转换为double类型。在业务场景中,'fee'位于content.json的键值对中,而content.json可能是直接存储为一个键值对,或者其各个字段被拆分开存储。面对不同的存储方式和event_id,文章提供了如何统一提取和解析JSON字符串的解决方案。
摘要由CSDN通过智能技术生成

问题背景:

需求:获取商品在曝光时,用户看到的价格

基本步骤:从埋点表里取出map类型的a字段,再从a字段里取出fee对应的键值,最后取出键值里的特价转化成double类型。

笔记:

  • map数据类型在查询时需要指定键名.
-- 正确做法
select a['fee'] as fee 
from t;

-- 错误做法
-- 不会返回整个map字段
select a 
from t 

直接select 字段名返回的内容如下

  •  多层map如何处理?/ 字符串如何转为json?

        在业务中,'fee' 字段属于埋点公共参数 'content.json' 里的一个key。content.json里还有别的字段,比如shop_id。

        有的埋点会直接将整个content.json作为一个键值对存到数据库里,即 a ['content_json']。

        有的埋点会将content.json里的各个字段拆出来分别存到数据库里。

        不同的埋点对应不同的event_id,甚至有的时候同一个event_id都有两种不同的存储情况。

        但是业务分析不需要考虑埋点表是怎么存储的。此时不仅需要cover到两种情况,而且需要将string类型的js

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值