【Hive】常用命令以及SQL整理

最新推荐文章于 2022-10-26 14:06:10 发布

wx0628

最新推荐文章于 2022-10-26 14:06:10 发布

阅读量285

点赞数

分类专栏： Hadoop学习记录记录文章标签： Hadoop 常用命令 SQL 分组最大

本文链接：https://blog.csdn.net/wx0628/article/details/86656534

版权

本文详细介绍了Hive中处理JSON数据的命令，如get_json_object、split和explode，以及如何结合Lateral view进行数据拆分。还讨论了正则表达式在Hive中的应用，用于提取和格式化数据。此外，文章涵盖了时间戳和日期格式的转换，并提供了根据条件获取分组内最大值的示例。

摘要由CSDN通过智能技术生成

知识点一：
explode(split(get_json_object(fieldDataName,’$.str’),’,’))

1、fieldDataName表示数据库字段名；
2、$.str表示要从数据库定中JOSN类型的字段中取的内容

使用到的命令包括：
1、get_json_object ：从JSON中取值；

get_json_object，多层JSON的取值
data =
{
"store":
    {
     "fruit":[{"weight":8,"type":"apple"}, {"weight":9,"type":"pear"}],  
     "bicycle":{"price":19.95,"color":"red"}
     }, 
     "email":"amy@only_for_json_udf_test.net", 
      "owner":"amy" 
}

1.1、.get单层值
hive> select get_json_object(data, ‘$.owner’) from test;
结果：amy

1.2.get多层值.
hive> select get_json_object(data, ‘$.store.bicycle.price’) from test;
结果：19.95

1.3.get数组值[]
hive> select get_json_object(data, ‘$.store.f