常用HiveQL总结

39 篇文章 2 订阅 ¥19.90 ¥99.00
本文总结了使用Hive进行多维数据分析时的一些关键HiveQL命令,包括如何创建托管表和外部表,管理Partition,使用UDF和UDTF,以及进行多维分析的方法。Hive的Partition功能允许灵活的数据组织,UDF和UDTF则增强了数据处理能力,而多维分析功能如grouping set、rollup和cube则为复杂的数据探索提供了便利。
摘要由CSDN通过智能技术生成

最近在用Hive做多维数据分析,总结一些常用HiveQL命令。

1. 建表

以纯文本数据建表:

create table `dmp.dim_con_adx_id_name` (
	`adx_id` string comment 'ADX ID'
	, `adx_name` string comment 'ADX名称'
	, `update_dt` string comment '更新时间(天粒度)'
)
comment 'ADX的ID与名称映射表'
row format delimited 
fields terminated by ','
stored as textfile
;

若未指定为外部表(external table),则默认为托管表(managed table)。二者的区别在于load与drop操作:托管表用load data inpath加载数据(路径可为本地目录,也可是HDFS目录),该操作会将该文件放在HDFS目录:/user/hive/warehouse/ 下;而外部表的数据是在location中指定,一般配合partition描述数据的生成信息;drop托管表时会将元数据与/user/hive/warehouse/下的数据一起删掉,而drop外部表时只会删除元数据。将本地文件加载到托管表:

load data local inpath 'adx.csv' overwrite into table dmp.dim_
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

浅唱书令

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值