hive 分区表select全部数据_hive 查询表数据量大小

本文介绍了在Hive中统计表数据量的方法,包括使用`ANALYZE TABLE`、`DESC EXTENDED`、`SHOW CREATE TABLE`、`EXPLAIN`命令以及查询元数据库和使用HDFS命令来获取表的大小信息。对于分区表,特别提到了如何通过`hadoop fs -ls`和`awk`命令计算各分区的存储大小。
摘要由CSDN通过智能技术生成

为什么要查询表数据量

在做数据仓库管理时,数据导入hive或向表生成数据后形成的数据资产,表里的数据量和占用存储空间是总要的元数据属性。为方便数据使用时对数据有基本的了解,需要对表的数据量做统计。

使用 analyze table 主动生成元数据信息

analyze table tableName [partition(partCol[=‘value‘])] compute statistics;

分区表必须添加partition字段才能执行,执行

使用desc extended tableName 方法

desc extended databaseName.tableName;

使用可以查看非分区表

parameters:{totalSize=126532790,

rawDataSize=125773613,

numRows=759177,

COLUMN_STATS_ACCURATE={"BASIC_STATS":"true"},

numFiles=6,

transient_lastDdlTime=1590736183,

comment=单位基本信息},

使用 show create table tableName 查看

show create table tableName;

......

TBLPROPERTIES (

‘COLUMN_STATS_ACCURATE‘=‘{\"BASIC_STATS\":\"true\"}‘,

‘numFiles‘=‘6‘,

‘numRows‘=‘759177‘,

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值