Hive读取json数据源

最新推荐文章于 2024-06-20 00:09:20 发布

muyingmiao

最新推荐文章于 2024-06-20 00:09:20 发布

阅读量677

点赞数

分类专栏： Hive

本文链接：https://blog.csdn.net/muyingmiao/article/details/102582324

版权

本文介绍了如何在Hive中读取和解析JSON数据源，特别是聚焦于将JSON中的time字段提取为年、月、日、时、分、秒，并详细讲解了使用内置函数如json_tuple、cast和from_unixtime等进行数据转换的过程，最终构建了一个大宽表rating_width，为后续的统计分析做准备。

摘要由CSDN通过智能技术生成

1.数据格式如下图

2.创建表并加载数据

hive (test)> create table rating_json(json string);
hive (test)> load data local inpath '/home/hadoop/testdata/json/rating.json' into table rating_json;
Loading data to table test.rating_json
Table test.rating_json stats: [numFiles=1, totalSize=63602280]
OK
Time taken: 0.68 seconds

2.使用build-in 函数json_tuple

hive (test)> desc function json_tuple;
OK
tab_name
json_tuple(jsonStr, p1, p2, ..., pn) - like get_json_object, but it takes multiple names and return a tuple. All the input parameters and output column types are string.
Time taken: 0.004 seconds, Fetched: 1 row(s)

hive (test)> select json_tuple(json,'movie','rate','time','userid') as (