Hive解析Json格式的日志文件

搬运自：
(35条消息) 【Hive】解析json（get_json_object）_喜东东cc的博客-CSDN博客_get_json_object

 

get_json_object(string json_string, string path)

说明：
第一个参数填写json对象变量，第二个参数使用$表示json变量标识，然后用 . 或 [] 读取对象或数组；如果输入的json字符串无效，那么返回NULL。
每次只能返回一个数据项。

例子：

data 为 test表中的字段，数据结构如下：

data =
{
 "store":
        {
         "fruit":[{"weight":8,"type":"apple"}, {"weight":9,"type":"pear"}],  
         "bicycle":{"price":19.95,"color":"red"}
         }, 
 "email":"amy@only_for_json_udf_test.net", 
 "owner":"amy" 
}

1.得到单层值：hive> select get_json_object(data, '$.owner') from test; 结果：amy

2.得到多层的值：hive> select get_json_object(data, '$.store.bicycle.price') from test; 结果：19.95

3.得到数组的值：hive> select get_json_object(data, '$.store.fruit[0]') from test; 结果：{"weight":8,"type":"apple"}

第二种方式：

使用sparkSQL:

var df = spark.read.format("json").load("路径')或者是 var df = spark.read.json("路径")

例子：

user.json文件：

{"name":"Michael","age":20}
{"name":"Andy","age":30}
{"name":"Justin","age":19} 

首先读取json文件，将它封装在一个DataFrame中，之后创建一个临时视图，相当于取个表名，但临时视图只在当前会话中有效，可以通过createGlobalTempView创建全局视图，之后使用sparksql进行查询，最后再show就可以了。