hive中自定义JsonSerde处理复杂结构的json数据

使用背景

hive自身提供UDF函数get_json_object 支持json数据的操作，但是使用效果并不是非常理想。如果可以像普通hive建表指定字段映射到json中的key就太好了！幸好hive本身提供了数据序列化反序列化的接口Serde，开发者只需要自定义实现Serde接口实现自己的逻辑即可。下面介绍的是通过开源工具Hive-JSON-Serde-develop来实现的序列化反序列化操作实例。

具体介绍

1.下载Hive-JSON-Serde-develop源码，自己编译打成jar包：JsonSerde.jar；
2.将jar包放到HIVE_HOME的auxlib目录下，然后修改hive-env.sh，添加HIVE_AUX_JARS_PATH=$HIVE_HOME/auxlib/JSONSerDe.jar，这样每次运行hive客户端的时候都会将这个jar包添加到classpath中
3.编写hive建表语句，并保存到create_json_tab.hql文本中。下面附上我的业务数据json结构；

create external table if not exists json_tab (
    `_area` string,
    `_name`