HIVE lzo压缩模式下 select count(*)时条数不一致

最新推荐文章于 2023-07-18 15:02:07 发布
最新推荐文章于 2023-07-18 15:02:07 发布
阅读量567 收藏 1
点赞数
文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xie670705986/article/details/113635236
版权

lzo压缩时有一个索引文件。
当使用select * from xx 时， inputformat是使用建表时指定的DeprecatedLzoTextInputFormat，他可以识别到索引文件。

而使用select count(*) from xx时，使用的inputformat是先使用combinehiveinputformat（防止MR的时候都是小文件），他会把索引文件和数据文件合并，导致之后DeprecatedLzoTextInputFormat识别不到索引文件，然后误认为索引也是一条数据，导致条数会多一条。

条数不一致其实问题不大，这个主要影响的是索引文件不生效，印象效率！
所以可以SET hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
将combinehiveinputformat替换掉，让他不要先合并文件。

xie670705986
关注
Hive中使用LZO压缩的方式
杨鑫newlife的专栏
10-13 4958
1.创建表的时候指定为lzo格式 CREATE EXTERNAL TABLE foo (      columnA string,      columnB string ) PARTITIONED BY (date string) ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t" STORED AS INPUTFORMAT "com.hadoop.m...
Hive查询count(*)有数据，但是select * 没有数据
杨鑫newlife的专栏
10-13 9153
若发生将一个使用LZO压缩过的表数据导入一个没有被压缩过表内， 类似于如下两个表： 图一：LZO压缩 图二未压缩 查询将出现这种状况，hdfs目录下明明有数据，count(*)有数据总量，但是select就是查询不出来， 具体原因： 表的结构是未压缩过的，但是数据是压缩过的，通过select（此处查询的方法跟表的结构有关系）查询压缩过的结果，肯定不会显示， 具体解决办法： 使用se...
Hive读取索引文件问题：select * 和select count(*)读取出来的行数不一致
Sun's Blog
02-04 1045
两种方式，分别查询数据有多少行： hive (gmall)> select * from ods_log; Time taken: 0.706 seconds, Fetched: 2955 row(s) hive (gmall)> select count(*) from ods_log; 2959 两次查询结果不一致的原因分析 hive (gmall)> drop table if exists ods_log; CREATE EXTERNAL TABLE ods_log (`l
Sqoop 将db2数据导入到hive中出现数据条数不一致问题分析
success could be revenge的博客
05-17 1460
import--connectjdbc:db2://host:port/database   //db2驱动--usernamexxx //用户名--passwordxxx //密码--tabledb2table //db2中的表名字--split-byid //分块建议使用主键column字段名称作为分割块的依据，这样减少导入误差--m16 //1-更大 速度主要...
HIVE实际开发问题:select * 和 select count（*） 条数不一样
光脚虾的博客
12-04 4252
前置 目前是做一个大数据平台迁移的项目，传输完数据后，在部署生产环境之前需要对功能模块进行测试，测试时对hive每张表都造了一条数据 问题情况 检查到某张表的时候 sql语句： select * from table; 结果显示是这样的： select count(*) from table; 当我count（*）时候 结果显示是这样的 明明表里面有数据，但是count 的结果是0 解决...
hive count 记录数比mysql值少了
余康的专栏
08-06 1594
test表如下 id 11 22 33 44 44 NULL 例如你执行 select count(distinct id) from test; 时，在Mysql中应该是5条数据 但是在hive中是4条，NULL的那条数据会被直接过滤，hive认为这个数据不存在
Hive支持处理lzo压缩格式的数据统计查询
liweihope的博客
02-11 1395
Hive支持处理lzo压缩格式的数据统计查询之前需要编译hadoop-3.2.2源码并支持lzo压缩，参考之前博客： 编译hadoop-3.2.2源码并支持lzo压缩 以上是前提。 数据准备 这里准备了一份379M的数据makedatatest.txt，用lzo压缩命令把文件压缩成makedatatest.txt.lzo，大小为158M，hdfs块大小为128M。 [ruoze@hadoop001 data]$ lzop -v makedatatest.txt compressing makedatate
hive 压缩全解读(hive表存储格式以及外部表直接加载压缩格式数据)；HADOOP存储数据压缩方案对比（LZO,gz，ORC）
热门推荐
longshenlmj的专栏
01-20 2万+
数据做压缩和解压缩总会增加CPU的开销，但可以最大程度的减少文件所需的磁盘空间和网络I/O的开销 最好对那些I/O密集型的作业使用数据压缩 hive表的存储格式为     TEXTFILE     SEQUENCEFILE（三种压缩选择：NONE, RECORD, BLOCK。 Record压缩率低，一般建议使用BLOCK压缩）     RCFILE     自定义格式
Hive数据压缩和存储
Joker_Jiang3的博客
07-22 446
Hive数据压缩和存储 一、Hadoop压缩配置 1、MR支持的压缩编码 压缩格式 算法 文件扩展名 是否可切分 DEFLATE DEFLATE .deflate 否 Gzip DEFLATE .gz 否 bzip2 bzip2 .bz2 是 LZO LZO .lzo 是 Snappy Snappy .snappy 否 为了支持多种压缩/解压缩算法，Hadoop 引入了编码/解码器，如下表所示： 压缩格式 对应的编码/解码器 DEFLATE org.apa
hive count distinct count(distinct Columns) Columns为多列时慎用，有坑！！！
lquarius的博客
01-30 3337
1，问题 表中实际无重复数据，但是经过count(distinct imei,wifi,ssid)，数据量变少了。 2，原因 distinct 多列时任意列为null值，均返回null，hive的count()函数对空值是不做处理的，所以数据减少 3，验证 4，解决办法 4.1，将distinct后列用小括号括起来（所有列均为null...
数据仓库 - hive 查询表select count(*) 数据量为0 ，select * 有数据
DolphinF的博客
07-18 1047
因为执行count(1)或count(*)统计行数时，默认会从Hive的元数据库中查询 rowsNum。data的方式填充表数据，则不会收集此统计信息，Hive收集的统计信息与收集时机见官方文档。对于类似于“count(1)”的基础查询不使用元数据中的统计信息，而是执行MR Job。对应值作为结果返回，一般情况下，如果是使用加载数据文件load。这个是窗口级别的临时设置。下次再进入hive时还需要重新设置。3、使用ANALYZE命令手动更新表统计信息。
hive小文件合并CombineHiveInputFormat
weixin_47699191的博客
08-05 2694
1.数据准备 测试表 create table test( field1 int, field2 int, field3 int ) comment'小文件合并及排序测试表' ; 数据 insert into table test values(1,6,14); insert into table test values(2,3,4); insert into table test values(6,2,6); insert into table test values(1,3,2
CombineInputFormat在hive和MapReduce的应用和原理
hummingbird0的博客
03-22 2042
CombineInputFormat在hive和MapReduce的应用和原理CombineInputFormat应用Hive中可以设置MapReduce设置CombineInputFormat的原理**1.FileInputFormat的基本处理逻辑**2.文本类型TextInputFormat的使用3.CombineInputFormat原理与用法4.CombineInputFormat应用 CombineFileInputFormat作用：将多个小文件打包成一个InputSplit提供给一个Map处理
hive, count统计与列表不一致
weixin_44129801的博客
03-24 2574
1. 问题 同一张表, 单独查询字段时有数据, 但是使用count查询显示0 2. 分析 count查询走的是hive元数据, 找到hive元数据库的partition_params表, 查看numFiles, numRows, rawDataSize等属性 3. 方案 同步元数据统计信息 analyze table <table_name> COMPUTE STATISTICS; ...
hive中 count结果和spark sql中count结果不一致
yy的博客
08-20 1134
hive spark
区别：count(1) 和 count(*)和count(列名)
CharlesCFA的博客
02-17 2536
执行效果上： count(*)包括了所有的列，相当于行数，在统计结果的时候，不会忽略列值为NULL； count(1)包括了忽略所有列，用1代表代码行，在统计结果的时候，不会忽略列值为NULL； count(列名)只包括列名那一列，在统计结果的时候，会忽略列值为空（这里的空不是只空字符串或者0，而是表示null）的计数，即某个字段值为NULL时，不统计。 所以呢，count(1)和count(*)之间没有区别，因为他们两个都不会过滤空值，但count(列名)就有区别了，因为count(列名)会去过滤空值
HIve中count（1），count（*），count（字段名）三种统计的区别
qq_32118757的博客
01-16 1874
HIve中count（1），count（*），count（字段名）三种统计的区别
hive sql count(*) count(1) count(字段)
04-12 2174
1、count(*)、count(1)： 　　count(*)对行的数目进行计算，包含NULL，count(1)这个用法和count(*)的结果是一样的。 　　如果表没有主键，那么count(1)比count(*)快。表有主键，count(*)会自动优化到主键列上。 　　如果表只有一个字段，count(*)最快。 　　count(1)跟count(主键)一样，只扫描主键。count(*)跟count(非主键)一样，扫描整个表。明显前者更快一些。 　　count(1)和count(*)基本没有差别，
【hive】hive中count(*)、count(1)、count(col)区别
开发随笔-猫咪酱
10-19 1308
最近看到某公司面试题有这个，顺便查了一下。 count(*)：所有行进行统计，包括NULL行 count(1)：所有行进行统计，包括NULL行 count(column)：对column中非Null进行统计 我在集群找了一个表试了一下，结果差距不是很大，因为执行时间会受集群资源的影响，所以看下具体的执行步骤 先看结果，count(*)执行时间26s select count(*) from...
hive select* 差不到数据
最新发布
09-30
In Hive, when you run `SELECT * FROM table`, it retrieves all columns and rows from the specified table. However, if you get no data with `SELECT *` but have data when selecting specific columns (`SELECT column1, column2... FROM table`), there could be a few reasons[^1]: 1. **Data Storage Format**: If your table has a default storage format like LZO (which is a compressed file format), using `SELECT *` without specifying the file format can result in slower performance or an empty response because of the need to decompress the entire row before reading. In this case, selecting specific columns bypasses this issue by only fetching required data. To confirm this, you might want to check the table's properties or explicitly set the input format for reading, like so: ```sql SET hive.input.format=lzo; ``` 2. **Empty Rows**: It's possible that some rows are empty or null in every column, causing `SELECT *` to return no rows while individual columns still contain non-null values. 3. **Filtering on Columns**: If there are filters or conditions applied in your query, they might exclude all rows during `SELECT *`, whereas a subset of columns may not have these restrictions. To troubleshoot further, examine the table schema, partitioning, and any filtering clauses in your queries. Also, consider running `DESCRIBE FORMATTED table_name` to see the structure and potential issues with data storage.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值