快速查询hive数据仓库表中的总条数

最新推荐文章于 2024-08-16 16:13:09 发布
最新推荐文章于 2024-08-16 16:13:09 发布
阅读量1.5w 收藏 14
点赞数 3
分类专栏： 批量:Hive/Spark/Hbas 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bdchome/article/details/46965335
版权
本文介绍了两种快速查询Hive数据仓库表中总条数的方法。传统方式是使用`count(*)`，但在大数据量下可能需要较长时间。另一种更高效的方式是通过查询Hive的元数据，尤其适用于有partition的表，这种方法几乎瞬间即可返回结果。
摘要由CSDN通过智能技术生成

Author： kwu

快速查询hive数据仓库中的条数，在查询hive表的条数，通常使用count(*)，但是数据量大的时候，mr跑count(*)往往需要几分钟的时间。

1、传统方式获得总条数如下：

select count(*) from ods.tracklog;


运行时间为91.208s

最低0.47元/天 解锁文章
大数据部
关注
专栏目录
大数据｜Hive和数据仓库
知识库搭建ing
05-08 1256
Hive构建于分布式文件系统HDFS之上，提供了一种类似于SQL的数据查询分析查询接口。
通过hive元数据查询hive指定库和表的总条数
Davina_yu的博客
06-28 1219
查看ods层的总表数。查看ods库的总条数。查看ods库的总条数。查看ods库的总条数。
通过hive元数据查询hive库和表的总条数
王木头的博客
12-15 9285
通过hive元数据查询库表总条数和总大小
hive统计某个库下所有的表以及所有字段的个数
最新发布
m0_72596529的博客
08-16 176
1.统计test库下所有的表的个数。2.统计test库下所有字段的个数。
hive查询数据库总条数
name_szd的博客
06-08 7416
查询不含分区表的总条数select FORMAT(sum(tb.PARAM_VALUE),0)  from TBLS t   left join DBS d  on t.DB_ID = d.DB_ID  left join TABLE_PARAMS tb on t.TBL_ID = tb.TBL_ID   where d.NAME='testzdsun' and tb.PARAM_KEY='num...
hive里如何快速查看表中有多少记录数
热门推荐
蘑菇丁的专栏
07-11 3万+
方法一： 在hue界面的hive下找到相应的表,即可看到表的行数和大小等信息。 方法二编写脚本， [root@namenode01 hive]# cat count_tables.sh  myorder=1 while read line; do eval "hive --database tpc_ds -S -e 'select \"$myorder\" a
Hive 数据库索引解析：提升查询速度的方法
weixin_45909317的博客
09-20 375
Hive 数据库索引解析：提升查询速度的方法
Hive表数据量统计原理和源码分析
书忆江南的IT博客
07-21 3640
在Hive explain获得执行计划时，经常会看到如下图所示的表数据量统计： 那么这个数据量，Hive是如何统计出来的呢？ 一、Data size统计 1.1、Hive源码 在Hive通过Antlr语法解析器获取到SQL的抽象语法树（AST）并生成校验过元数据的逻辑执行计划后，在优化阶段会使用Statistics统计的规则（rule），如下图所示： 在AnnotateWithStatistics这个类中，在对执行计划进行转化（transform）时会调用TableScanStatsRul
2021年-Hive大数据仓库-期末考试知识点重点-笔记整理.pdf
10-11
Hive是一种基于Hadoop的大数据仓库工具，可以将结构化的数据文件映射为一个表，并提供类SQL查询功能。Hive的优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计。延迟较高，使得Hive适合用于离线的...
基于Hadoop的数据仓库Hive学习指南.doc
04-06
此外，Hive旨在通过数据仓库技术从大量数据中快速获取有价值的信息。 3. **Hive的特点**： - **数据仓库模型**：Hive提供了合理且直观的数据组织方式，简化了复杂的数据运算。 - **非实时查询**：Hive不适合需要...
Hive查看表大小(所占的磁盘空间大小)
iiiitttttt的博客
03-25 2万+
查看该hive表的总容量大小 单位为G [root@hadoop225 ~]$ hadoop fs -du /user/hive/warehouse/src.db/user/user_account|awk ' { SUM += $1 } END { print SUM/(1024*1024*1024) }'
【备忘】统计hive事务表数量
03-03 1740
因为一些原因，要清点一下线上hive事务表有多少 几千个表一个个去看得累死人 灵机一动可以通过元数据来查嘛 这里记录一下： #事务表的库名、表名、创建时间 SELECT d.`NAME` db_name,t.TBL_NAME,FROM_UNIXTIME(t.CREATE_TIME) create_time FROM `TABLE_PARAMS` tp INNER JOIN TBLS t on tp.TBL_ID=t.TBL_ID INNER JOIN DBS d on t.DB_ID=d.DB_ID WH
Hive-元数据查询表数据量
docsz的博客
06-30 1万+
Statistics使用 1、表，分区级别的统计信息 对于新创建的表或者分区，默认情况下，如果通过INSERT OVERWRITE的方式插入数据，那么Hive会自动将该表或分区的统计信息更新到元数据。有一个参数来控制是否自动统计，hive.stats.autogather，默认为true. 对于已经存在表或分区我们可以通过ANALYZE命令手动更新其Statistics信息： ANALYZE TABLE Table1 COMPUTE STATISTICS;//统计全表的所有分区的信息 ANALYZE TA
Hive_查询优化 计算不同数据的总个数 count(distinct id)
迎难而上
05-29 9859
这是一种 Hive 非常常见的问题， 下面让我们学习下 如何优化 需求， 统计 明细表 里面有多少不同的明细 id 数据规模 ： 全量抽取的 MySQL 数据表，按天分区，每天存储所有的MySQL 记录。 所选分区在 2亿 左右的数据量， 大小在 40 GB 规模。 我们使用最常见的 SQL 进行统计 select count(distinct detail_...
HIVE表数据量和数据记录数的矛与盾&小文件[转]
liaonanfeng88的CSDN博客
06-14 433
HIVE作为在Hadoop分布式框架下的数据仓库技术，处理大数据量是最基本的诉求，这种海量处理是基于分布式框架，利用分布式存储，分布式计算，利用大集群的资源并行处理海量数据。但是一旦我们不能利用这种分布式并行处理，那么海量数据只能是低效处理了。再往细处说，就是一份海量数据需要多少map来处理，一个map能处理多少数据，这些都制约着数据处理的效率。...
大数据技术之Hive（四）
a376712116的博客
07-14 665
五 DML 数据操作 5.1 数据导入 5.1.1 向表中装载数据（Load） 1）语法 hive>load data [local] inpath ‘/opt/module/datas/student.txt’ [overwrite] into table student [partition (partcol1=val1,…)]; （1）load data:表示加载数据 （2...
统计Hive表占用空间大小
寂寞的博客
06-20 6697
首先，Hive的数据是存在HDFS上的，统计Hive表大小就算统计文件的大小。 虽然在Hive的管理界面可以看到HDFS文件占用的整体大小，但如何查看每张表占用的空间呢？ 几经搜索，没有发现hive现成的命令，于是，动手撸一个出来吧。 基于python实现 下面这部分代码是非常低效的，因为对hive命令不了解，所以走了弯路，但实际上是可行的，20T的文件，共一百多张表，用41个线程跑了2小时才跑完。 核心就是：hadoop fs -ls /path # hadoop fs -ls /user/hive/wa
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值