使用背景
hive自身提供UDF函数get_json_object 支持json数据的操作,但是使用效果并不是非常理想。如果可以像普通hive建表指定字段映射到json中的key就太好了!幸好hive本身提供了数据序列化反序列化的接口Serde,开发者只需要自定义实现Serde接口实现自己的逻辑即可。下面介绍的是通过开源工具Hive-JSON-Serde-develop来实现的序列化反序列化操作实例。
具体介绍
1.下载Hive-JSON-Serde-develop源码,自己编译打成jar包:JsonSerde.jar;
2.将jar包放到HIVE_HOME的auxlib目录下,然后修改hive-env.sh,添加HIVE_AUX_JARS_PATH=$HIVE_HOME/auxlib/JSONSerDe.jar,这样每次运行hive客户端的时候都会将这个jar包添加到classpath中
3.编写hive建表语句,并保存到create_json_tab.hql文本中。下面附上我的业务数据json结构;
create external table if not exists json_tab (
`_area` string,
`_name`