hive for循环_生产Hive优雅处理嵌套JSON

一、背景

最近有个需求，需要解析数仓中某张表的某个字段，该字段为JSON，且为嵌套的多层JSON，JSON数据格式化之后如下：

由于是生产环境上的数据，因此对于某些value以xxx进行替代，并不影响sql的编写样例：

需求是需要提取出每个这种JSON中所有的brandName。

二、解决方案

2.1 思路1：

使用hive自带的get_json_object函数进行处理

尝试之后，发现最终的效果只能是取出其中一个brandname，并不能取出全部。

2.2 思路2：

既然使用自带的json处理函数不能满足，那么就自己去开发一个udf函数，思路比较简单，只要将读入的每个json进行解析，一个for循环，将里面的brandName依次拿出来就行。

2.3 思路3：

其实Hive SQL也可以一行sql直接搞定，没必要写什么udf，思路如下：

1)将json 以brand_name进行切分成多行 使用lateral view和explode进行配合处理

2)对每一行数据进行处理 提取出品牌名

3)剔除为数字的情况

这样，对应的一个seller_id就将对应的所有branName给全部取了出来，以一个list的形式拼接在了一起。