Hive JSON数据处理：get_json_objec、json_tuple、用JSON Serde加载数据

Hive JSON数据处理

将JSON保存为字符串，用JSON函数处理

• 使用get_json_object、json_tuple实现将JSON数据中每个字段独立解析出来，构建成表。

get_json_object

• 用于解析JSON字符串，可以从JSON字符串中返回指定的某个对象列的值。
• 每次只能返回JSON对象中一列的值。
• 语法：
  json_txt：指定要解析的JSON字符串
  path：指定要返回的字段，通过$.columnName的方式来指定path

get_json_object(json_txt,path)

• 例：

SELECT
	-- 获取设备名称
	GET_JSON_OBJECT(json,"$.device") AS device
	GET_JSON_OBJECT(json,"$.time") AS time
FROM tb_json_test1;

json_tuple

• 用于实现JSON字符串的解析，可以通过指定多个参数来解析JSON返回多列的值
• 一次可以返回多列值，属于UDTF类型函数，一般搭配lateral view使用
• 返回的每一列都是字符串类型
• 语法：
  jsonStr：指定要解析的JSON字符串
  p1：指定要返回的第1个字段
  …
  pn：指定要返回的第n个字段

json_tuple(jsonStr,p1,p2,...,pn)

• 例：

SELECT
	json,device,stime
FROM tb_json_text1
	LATERAL VIEW JSON_TUPLE(json,"device","time") b
	AS device,stime;

用JSON Serde加载数据

• 建表时指定Serde，加载JSON文件到表中，会自动解析为对应的表格式。
• 例：此代码为建表部分，加载数据部分没有变化

CREATE TABLE tb_json_test2(
	device STRING,
	`time` STRING
) ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
  STORED AS TEXTFILE;