快速查询hive数据仓库表中的总条数

最新推荐文章于 2022-04-13 09:14:39 发布
最新推荐文章于 2022-04-13 09:14:39 发布
阅读量1.5w 收藏 14
点赞数 3
分类专栏： 批量:Hive/Spark/Hbas 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BDCHome/article/details/46965335
版权

Author： kwu

快速查询hive数据仓库中的条数，在查询hive表的条数，通常使用count(*)，但是数据量大的时候，mr跑count(*)往往需要几分钟的时间。

1、传统方式获得总条数如下：

select count(*) from ods.tracklog;


运行时间为91.208s

最低0.47元/天 解锁文章
大数据部
关注
  • 3
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
基于DAG的Hive数据溯源方法
07-07
数据溯源能够快速定位数据的来源及其产生过程，对审计、数据生命周期管理都有很大帮助，是数据安全防护中的重要一环。针对传统数据溯源机制难以应用于Hive数据仓库中大规模、复杂的数据处理的问题，提出了一种基于DAG的数据溯源方法，实现了对Hive中数据的溯源。最后通过实验对该方法的有效性以及性能进行了测试与验证。
hive练习数据和练习题及答案
01-05
hive练习数据和hive练习题包含了hive练习数据，hive数据的建表ddl和hive练习题，非常适合做hive练习，新手培训，快速入门等； 包含以下练习： hive的group by 和集合函数 hive的Order By/Sort By/Distribute By Join查询,join只支持等值连接 LEFT，RIGHT 和 FULL OUTER JOIN LEFT SEMI JOIN Hive当前没有实现 IN/EXISTS 子查询，可以用 LEFT SEMI JOIN 重写子查询语句。
大数据知识仓库涉及到数据仓库建模、实时计算、大数据、数据中台、系统设计、Java、算法等代码
最新发布
03-28
1、数据编排技术： Alluxio概览 Alluxio部署 Alluxio整合计算引擎 2、datalake数据湖技术： Hudi概览 Hudi整合Spark Hudi整合Flink Hudi调优实践 Hudi原理分析 hudi数据湖实践 3、iceberg技术： IceBerg概览 IceBerg整合Flink IceBerg整合Hive IceBerg整合Spark 4、存储相关，包含rocksdb、Hbase、BookKeeper、Zookeeper等 5、Hadoop生态圈的学习笔记，主要记录HDFS、MapReduce、Yarn相关读书笔记及源码分析等 5.1 HDFS Hadoop快速入门 HDFSOverView Hadoop广义生态系统 Hadoop高可用配置 HadoopCommon分析 HDFS集群相关管理 HDFS Shell 5.2 MapReduce 分布式处理框架MapReduce MapReduce概览 MapReduce调优 MapReduce数据相关操作 MapReduce输入输出剖析 MapReduce的工作机制 5.3 Yarn 等等太多了！！！
海量数据处理-hive数据仓库
09-04
海量数据处理-hive数据仓库 很好的讲解的大数据海量数据处理的数据仓库模型建设
Hive新手学习资料之Hive入门与实战.+Hive用户手册+hive函数大全中文版资源合集
04-26
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。 目录： Hive入门与实战.pdf hive函数大全.doc Hive用户手册中文版.pdf Hive用户指南-V1.1.doc 喜欢的朋友可以下载学习。
通过hive元数据查询hive库和表的总条数
王木头的博客
12-15 8830
通过hive元数据查询库表总条数和总大小
统计Hive所有数据库中所有数据表的记录数
tonglingtou1875的博客
04-09 6641
通过Hive元数据，可快速统计Hive所有数据库中所有数据表的记录数。 1、 首先找到 Hive 元数据所在的 Mysql 库； 2、在 Hive 元数据所在的 Mysql 库执行下面的SQL语句即可。 注：同理，调整查询语句可获取其他数据。 SELECT d.NAME '数据库名',t.TBL_NAME '数据表名', COALESCE((SELECT tp.PARAM_VALUE FROM TABLE_PARAMS tp WHERE tp.TBL_ID=t
Hive表数据量统计原理和源码分析
书忆江南的IT博客
07-21 3536
在Hive explain获得执行计划时，经常会看到如下图所示的表数据量统计： 那么这个数据量，Hive是如何统计出来的呢？ 一、Data size统计 1.1、Hive源码 在Hive通过Antlr语法解析器获取到SQL的抽象语法树（AST）并生成校验过元数据的逻辑执行计划后，在优化阶段会使用Statistics统计的规则（rule），如下图所示： 在AnnotateWithStatistics这个类中，在对执行计划进行转化（transform）时会调用TableScanStatsRul
Hive查看表大小(所占的磁盘空间大小)
热门推荐
iiiitttttt的博客
03-25 1万+
查看该hive表的总容量大小 单位为G [root@hadoop225 ~]$ hadoop fs -du /user/hive/warehouse/src.db/user/user_account|awk ' { SUM += $1 } END { print SUM/(1024*1024*1024) }'
Hive 快速查询DB下的表及行数
数据源的港湾
07-14 4532
Hive的元数据信息存储在元数据库里面，因此可以通过元数据库来快速统计表及数据量的情况，这里以元数据库为MySQL为例，可以通过以下SQL命令快速获取， select c.NAME, a.TBL_NAME, b.PARAM_KEY, b.PARAM_VALUE from hive.TBLS as a join hive.TABLE_PARAMS as b join hive.DBS c where a.TBL_ID = b.TBL_ID and a.DB_ID = c.DB_ID and c.NAME I
Apache Kylin分析型数据仓库.rar
07-04
HDFS Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统 HIVE hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析 Spark Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法,说白了应用内存了，用的时候也需要注意数据量，要不容易内存溢出
2021年-Hive大数据仓库-期末考试知识点重点-笔记整理.pdf
10-11
Hive是一种基于Hadoop的大数据仓库工具，可以将结构化的数据文件映射为一个表，并提供类SQL查询功能。Hive的优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计。延迟较高，使得Hive适合用于离线的...
第1章 数据仓库基础与Apache Hive入门1
08-08
3. 非易失性：数据仓库中的数据是持久的，一旦加载到仓库，不会轻易被修改或删除，确保了分析结果的可追溯性。 4. 时变性：数据仓库反映的是时间序列上的数据，允许用户查看过去某个时刻的状态，追踪数据变化的历史...
hadoop生态圈hive数据仓库的部署详细流程
02-02
Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行。其优点是学习成本低，可以通过类 SQL 语句快速...
基于 Hive的数据分析案例 -MM聊天软件数据分析
06-16
Hive 是基于 Hadoop 的数据仓库工具，能够对大量数据进行存储和管理。通过 Hive，可以对大规模数据进行快速的查询和分析。本案例中，我们使用 Hive 对 MM 聊天软件的数据进行分析，了解用户行为和偏好。 知识点二...
Hive中数据查询
while false
09-08 1470
1.基本查询 全表和特定列查询 1)全表查询 hive (default)> select * from emp; 2)选择特定列查询 hive (default)> select empno, ename from emp;     注意:       (1)SQL 语言大小写不敏感。       (2)SQL 可以写在一行或者多行       (3)关键字不能被缩写...
hive简单数据查询、函数
weixin_52923290的博客
04-13 2481
一、简单数据查询 1、where WHERE + 过滤条件 between/ in / is NULL / IS NOT NULL / > < = ! ... 如果多个存在多个过滤条件 可以用 AND OR 进行条件关联 或者是用NOT 进行条件结果取反 2、JOIN JOIN 内连接 左外连接 右外连接 自连接 满连接 内连接: 注意：关联时一定要跟上关联条件 SELECT T1.age ,T2.gen...
hive数据仓库面试题
09-02
Hive数据仓库面试题通常会涉及到Hive的基本概念、数据分区、数据压缩和查询优化等方面的内容。 一个常见的面试题是关于Hive的基本概念，例如： - 请解释一下Hive是什么？它的主要功能是什么？ Hive是一个基于Hadoop的数据仓库工具，用于处理大规模结构化数据。它提供了类似于SQL的查询语言来分析和处理数据，并将其转化为MapReduce任务运行在Hadoop集群上。 另一个可能的问题涉及到Hive的数据分区： - 请解释一下Hive中的数据分区是什么？它有什么作用？ Hive的数据分区是将数据按照某个列或列的组合进行划分，以便更高效地进行查询。通过将数据分为多个分区，可以减少查询时需要扫描的数据量，提高查询效率。 还有一个常见的问题是关于Hive中的数据压缩和查询优化： - 请解释一下Hive中的RCFILE和ORC文件格式是如何工作的？它们有什么优势？ RCFILE是一种行列存储相结合的方式，将数据按行分块，同一个记录在同一个块上，同时块数据列式存储，有利于数据压缩和快速的列存取。RCFILE在数据加载时性能消耗大，但具有较好的压缩比和查询响应。 ORC文件格式是一种高效的列存储文件格式，通过使用索引和列式存储，可以提供更快的查询速度和更小的存储空间。 最后，你还可以补充提及建表语句的相关内容： - 在Hive中，你可以使用如下建表语句创建一个分区表： create table tablename (id) partitioned by (dt string) 这个语句将创建一个名为tablename的表，其中包含一个名为id的列，并按照dt列进行分区。 这些都是Hive数据仓库面试中可能涉及到的一些题目和解答，希望对你有所帮助！<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [干货｜数据仓库工具hive面试题集锦](https://blog.csdn.net/itcastedu/article/details/109505562)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值