Hive读取索引文件问题：select * 和select count(*)读取出来的行数不一致

孙晨c

已于 2022-12-31 14:21:12 修改

阅读量1k

点赞数

分类专栏：踩坑记录 Hive 文章标签： hadoop 索引大数据 hive

于 2021-02-04 17:41:11 首次发布

本文链接：https://blog.csdn.net/dtft_/article/details/113658538

版权

两种方式，分别查询数据有多少行：

hive (gmall)> select * from ods_log;
Time taken: 0.706 seconds, Fetched: 2955 row(s)

hive (gmall)> select count(*

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

孙晨c

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

select count(*)和select * 区别

zhaoyangjian724的专栏

07-24

1494

explain plan for select * from F_AGT_BUSINESS_CONTRACT_H a where a.end_dt=date'2999-12-31'; select * from table(dbms_xplan.display()); Plan hash value: 3544262987 -------------------

count的数量和 select * 的数量不一致

bc_wind的专栏

03-09

3665

今天遇到已经怪事需要对一个表的全部数据进行处理，但是select * 出来后，最后log显示只处理了75条，可是这个表里面有将近10万条数据的。于是进行以下步骤check 1. select count(*) from a; 得到结果是 96486 条数据 2.select * from a; 得到 75条数据 3. s...

3 条评论您还未登录，请先登录后发表或查看评论

HIVE实际开发问题:select * 和 select count（*）条数不一样

光脚虾的博客

12-04

4289

前置目前是做一个大数据平台迁移的项目，传输完数据后，在部署生产环境之前需要对功能模块进行测试，测试时对hive每张表都造了一条数据问题情况检查到某张表的时候 sql语句： select * from table; 结果显示是这样的： select count(*) from table; 当我count（*）时候结果显示是这样的明明表里面有数据，但是count 的结果是0 解决...

select count(*)和select count(1)的区别

weixin_34185560的博客

01-02

2316

一般情况下，Select Count (*)和Select Count(1)两着返回结果是一样的假如表沒有主键(Primary key), 那么count(1)比count(*)快，如果有主键的話，那主键作为count的条件时候count(主键)最快如果你的表只有一个字段的话那count(*)就是最快的 count(*) 跟 count(1) 的结果一...

select * 与 count(*)数量不一致_技术分享 | MySQL：count(*)、count(字段) 实现上区别

weixin_39554172的博客

01-25

1037

作者：高鹏文章末尾有他著作的《深入理解 MySQL 主从原理 32 讲》，深入透彻理解 MySQL 主从，GTID 相关技术知识。继上一篇文章：MySQL：查询字段数量多少对查询效率的影响我们继续来讨论一下 count(*)、count(字段)实现上的区别。注意我们这里都使用 Innodb 做为存储引擎，不讨论其他引擎。因为了有了前面的讨论，更容易看出它们的区别，这里我们有如下注意点：我们需要做到...

select * 与 count(*)数量不一致_你是一直认为 count(1) 比 count(*) 效率高么？

weixin_42316933的博客

01-25

805

本文出自：码匠笔记MySQL count(1) 真的比 count(*) 快么? 反正同事们都是这么说的，我也姑且觉得对吧，那么没有自己研究一下究竟？如果我告诉你他们一样，你信么？有 Where 条件的 count，会根据扫码结果count 一下所有的行数，其性能更依赖于你的 Where 条件，所以文章我们仅针对没有 Where 的情况进行说明。MyISAM 引擎会把一个表的总行数记录了下来，所以...

hive读取索引文件的问题

amberwest

10-07

517

存在这么一张表，源数据是用LZO压缩并创建了索引 drop table if exists ods_customer; create external table ods_customer( customer_id string, customer_name string, gender string, mobile string, birth date ) partitioned by (dt string) stored as INPUTFORMAT

sparksql和hive读取结果不一致

遥望......

11-04

1394

sparksql读不到表内容，但是hive却是可以，后来排查到是因为hive表有多级目录，所以需要配置下sparksql参数： spark.sql.hive.convertMetastoreParquet=false mapred.input.dir.recursive=true 如果是hive可配置 mapreduce.input.fileinputformat.input.dir.recursive=true hive.mapred.supports.subdirectories=true

Hive存储和读取文件的 5 种格式

给我一点温度

09-06

3488

Hive文件存储的格式包括以下几类： TEXTFILE SEQUENCEFILE RCFILE ORCFILE Parquet TEXTFILE为默认格式，建表时不指定的话，就会默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理； SEQUENCEFILE，RCFILE，ORCFILE格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中...

Hive索引

feizuiku0116的博客

11-03

5435

一、描述 Hive支持索引，但是Hive的索引与关系型数据库中的索引并不相同，比如，Hive不支持主键或者外键。 Hive索引可以建立在表中的某些列上，以提升一些操作的效率，例如减少Map Reduce任务中需要读取的数据块的数量。在可以预见到分区数据非常庞大的情况下，分桶和索引常常是优于分区的。而分桶由于SMB Join对关联键要求严格，所以并不是总能生效。二、Hive原始索引 Hive的索引目的是提高Hive表指定列的查询速度。没有索引时，类似’WHERE tab1.col1 = 10’ 的

Hive系列 (十)：Hive调优

Eric Ray的博客

09-09

3032

Hive优化详细解释

Hive系列 (九)：Hive数据存储

Eric Ray的博客

09-06

3039

Hive 数据存储格式TextFile ORCFile Parquet 及其压缩方式详细介绍

Hive：查询、排序、索引、存储格式、函数、调优

Jodness' Blogs

07-17

1860

目录 1、查询 1.1、基本查询(select from) Hive避免进行MapReduce的情况 1.2、where语句 like和rlike 1.3、分组 1.4、join语句 join优化 map端join优化 2、排序 2.1、order/soted by 2.2、含有sort by 的 ditribute by 2.3、cluster by 2.4、抽...

select * 和 select 所有字段的区别+count(1)、count(*)与count(列名)的执行区别

雷嘉辉的博客

11-04

933

https://www.cnblogs.com/gdjk/p/10739998.html https://blog.csdn.net/haijiege/article/details/85006780

HIVE lzo压缩模式下 select count(*)时条数不一致

xie670705986的博客

02-04

578

lzo压缩时有一个索引文件。当使用select * from xx 时， inputformat是使用建表时指定的DeprecatedLzoTextInputFormat，他可以识别到索引文件。而使用select count(*) from xx时，使用的inputformat是先使用combinehiveinputformat（防止MR的时候都是小文件），他会把索引文件和数据文件合并，导致之后DeprecatedLzoTextInputFormat识别不到索引文件，然后误认为索引也是一条数据，导致条数

hive, count统计与列表不一致

weixin_44129801的博客

03-24

2595

1. 问题同一张表, 单独查询字段时有数据, 但是使用count查询显示0 2. 分析 count查询走的是hive元数据, 找到hive元数据库的partition_params表, 查看numFiles, numRows, rawDataSize等属性 3. 方案同步元数据统计信息 analyze table <table_name> COMPUTE STATISTICS; ...

hive select * from和select 字段 from区别

03-11

2542

select * from tbl_name limit 1，则不需要执行mapreduce任务，直接就可以读取相应的数据。 select 字段 from tbl_name limit 1，则需要执行相应的MapReduce任务，所以操作的时间很长。

select count(*) ，count（）， select *

积累点滴，保持自我

11-24

9158

最近接触数据库比较多，在写存储过程的时候，对这几个语句总是有点模糊，在这里简单做一下总结，方便以后学习。首先来分别说一下这几个都是什么意思： count() 是个聚合函数作用是求表的所有记录数，返回的是数值。 select * from 表名这个是查询表的所有记录，返回的是记录。 select count(*) from 表名这个是查询表的所有记录数，返回的

Hive select count(1) 报错问题困惑和解决

04-27

1937

hive入门时，导数据后，执行：select count(1) from info_house_history; 报错： hive (real_estate)> select count(1) from info_house_history; Query ID = root_20220427100959_bf6dedc3-acff-4467-812d-45c15226f385 Total jobs = 1 Launching Job 1 out of 1 Number of reduce task

hive中 count结果和spark sql中count结果不一致

yy的博客

08-20

1159

hive spark