Hive调优之count（*）产生缓存，明明表名中有数据，返回就是0！气不气？？？一条语句解决！

最新推荐文章于 2023-12-28 14:18:49 发布
最新推荐文章于 2023-12-28 14:18:49 发布
阅读量1k 收藏
点赞数 4
分类专栏： Hive调优 Java大数据 文章标签： hive mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/youhaitao_do/article/details/110377980
版权
本文探讨了在Hive中遇到的Count(*)操作不加where条件导致直接读取表元数据的问题。通过修改Hive参数set hive.compute.query.using.stats=false，可以关闭count缓存，有效解决了这一问题，避免了不必要的MR任务执行。
摘要由CSDN通过智能技术生成

表元数据里有数据量级的记录，count（*）不加任何where条件，那么直接读取表元数据，不走MR，

修改hive的参数，把count缓存关闭，问题解决！

set hive.compute.query.using.stats=false;

 

(15)Hive调优——数据倾斜的解决指南
爱吃辣条的博客
02-10 3786
Hive调优——数据倾斜指南
Hive调优一文打尽
跟着大数据和AI去旅行
01-16 266
Hive调优一文打尽
数据仓库 - hive 查询表select count(*) 数据量为0 ，select * 有数据
DolphinF的博客
07-18 1185
因为执行count(1)或count(*)统计行数时，默认会从Hive的元数据库中查询 rowsNum。data的方式填充表数据，则不会收集此统计信息，Hive收集的统计信息与收集时机见官方文档。对于类似于“count(1)”的基础查询不使用元数据中的统计信息，而是执行MR Job。对应值作为结果返回，一般情况下，如果是使用加载数据文件load。这个是窗口级别的临时设置。下次再进入hive时还需要重新设置。3、使用ANALYZE命令手动更新表统计信息。
hive count结果为0
一亿年开发经验
05-24 627
加上limit 1 正常查询 select count（*） from table limit 1;
hive表有数据，但count(*)返回0
lm19770429的专栏
04-07 1108
解决办法： set hive.compute.query.using.stats=false ; 然后再跑一下。
[hive]hive count(*)=0但是select *有数据
胖胖的博客
02-06 563
当设置hive.compute.query.using.stats=true时,hive在执行某些查询时，例如select count()，只利用元数据存储中保存的状态信息返回结果，从而提高了响应速度。这是一个CBO(基于成本的优化)的设置。
hive中使用count但是结果为0
lx2wenhui的博客
05-11 947
小问题解决
Hive调优策略之SQL优化
凉茶铺的博客
10-17 2999
介绍了hive如何从sql层面进行调优
Hive调优策略
li1019865596的博客
08-14 835
Hive作为大数据领域常用的数据仓库组件，在设计和开发阶段需要注意效率。 影响Hive效率的不仅仅是数据量过大；数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等因素都对Hive的效率有影响。 对Hive的调优既包含对HiveQL语句本身的优化，也包含Hive配置项和MR方面的调整。 从以下三个方面展开： 架构优化 参数优化 SQL优化 一、架构优化 1.1执行引擎 Hive支持多种执行引擎，分别是 MapReduce、Tez、Spark、Flink。可以通过hive..
Hive调优及参数优化（详细版）
热门推荐
奇迹虎虎的博客
02-18 1万+
Hive调优及参数优化，涵盖：基础配置优化、压缩配置优化、分桶优化、Map Join、Bucket-Map Join、SMB Join、Hive并行操作、Hive索引、数据清洗转换优化、统计分析优化、Hive优化器等等......
hive里面select count(*)始终为0，select * 有数据
及时雨的csdn
02-04 2633
如题，在使用hive的时候，使用聚合函数select count（*） 的时候，不走MR程序，直接返回0，而select * 是有数据的： 原因是我的数据是直接通过put命令上传到指定目录的，并没用load进行上传，使用hdfs查看文件： 俩个文件的权限是不一样的，暂时没有好的办法解决，我的办法是删除原来的数据，老老实实使用load命令进行加载数据就可以了。 ...
记录查询HIVE表的条目数为0，select* 却可以看到数据的异常
越疆
01-10 1016
一个现象： SELECT * FROM <tbl_name> 是有数据的 但是 SELECT COUNT(*) FROM <tbl_name> 结果为 0 原因是字段不匹配。需要检查字段名称或者字段个数。
hive在执行elect count(*) 没有数据显示为0（实际有数据）
qq_43688472的博客
12-28 1327
当该选项设置为 false 时，Hive 将不会使用任何统计信息来帮助决定查询的执行计划。禁用统计信息的主要原因是统计信息可能不准确或过时，或者在某些情况下，使用统计信息并不会带来明显的性能提升。因此，禁用统计信息可以使查询的执行计划更加稳定，而不会受到统计信息本身的影响。是 Hive 的一个配置选项。建表以location的方式加载数据，此时元数据还没有记录新的数据，当执行 count(*) 时，系统会自动到元数据中读取数据，此时元数据是没有数据的。但需要注意的是，禁用统计信息可能会导致查询的性能下降。
大数据hive中select count(0),select count(1) 结果为0
ssdy654321的博客
12-17 720
hive查询异常，select count(*), select count(1) 返回结果为0， 上述原因有说法是因为datax抽取datax写入hdfs造成的，需要通过修改session级别参数解决，但是我在另外一个测试环境，又使用datax不出现上述情况，故原因不够清楚。 使用set hive.compute.query.using.stats=false;修改session级别来解决问题。 ...
Hive中count(1)结果为0的解决办法
nhm_lxy的专栏
08-24 1271
执行count(1)或count(*)统计行数时，默认会从Hive的元数据库中查询 rowsNum 对应值作为结果返回。但是如果是使用加载数据文件load data的方式填充表数据，则hive元数据不会收集此统计信息,那么count时就会为0。也就是说通过insert的方式写入数据的表会更新hive元数据的rowsNum信息；第二种 对于类似于count(1)的基础查询不使用元数据中的统计信息，而是执行Job，即设置参数值为false。hive中执行count(1)函数，统计结果为0。
为什么hive表有数据，但count(*)返回0
weixin_30548917的博客
08-27 850
因为数据的存储问题 该表创建时指定的存储格式为parquet，所以count()无法统计 转载于:https://www.cnblogs.com/lidapengwww/p/11418751.html
Hive分区表count(*)不起mapreduce的真相
勤能补拙
10-31 5448
问题背景： 在对Hive求count(*)时，发现有些表会启mapreduce计算、返回 结果，比较耗时，有的表1秒之内返回结果 刚开始以为刚刚执行过一次count()后会对结果进行缓存，不用再去跑mapreduce，但经进一步实验发现大多数表每次执行count()操作都会跑mapreduce，于是猜测的结论不成立。 后在必应查找原因，大部分的结果都指向了：‘hive从1.0开始采用Fetch
hive 中有数据但是count(*)和count(1)的结果都是0。解决方法。
快乐星球
11-24 4184
今天做数据交换任务后，将mysql数据导入hive，任务跑成功了，select * 有数据，但是想count查询却显示为0。 问题解决：查询前输入 set hive.compute.query.using.stats=false 这个是窗口级别的临时设置。下次再进入hive时还需要重新设置。 ...
2021-11-14 hive select * 有数据，但是 select count(*) 没有数据
weixin_41930667的博客
11-14 3196
一、hive 查询时发现 select * 有数据，但是 select count(*) 没有数据 select * from ods.ods_start_log limit 11; select count(*) from ods.ods_start_log; 二、原因 建表以location的方式加载数据，此时元数据还没有记录新的数据，当执行 count(*) 时，系统会自动到元数据中读取数据，此时元数据是没有数据的。 三、解决办法 使用参数 hive.compute.query.using.s
select count(distinct(passport_id)) from credit_operate_order 这个SQL可以优化吗？
最新发布
09-22
您提供的两个引用似乎是关于创建Hive表的SQL语句，并非直接与`SELECT`查询的优化有关。但是，如果您想了解如何优化`SELECT`查询，特别是针对`credit_operate_order`表中的`distinct(passport_id)`计数操作，我们可以...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值