Hive 3.1.2 Parquet 格式表的 rawDataSize 统计信息不正确

Hive 统计信息的设置和使用，请参考 HIVE Statistics(Hive 统计信息) 的说明和查询优化详解

使用 tpcds-3 数据集进行测试

ORC 格式表的测试

创建 orc 格式的表，设置自动统计统计信息 hive.stats.autogather=true 后，插入数据到 orc 格式的表。
然后使用 desc formatted $TABLE_NAME 显示的部分内容如下

	numFiles            	6                   
	numRows             	2160165             
	rawDataSize         	3947986476          
	totalSize           	115653306           

说明 6 个文件，2160165 行，原始数据量是 3947986476 字节，压缩后占用文件 115653306 字节。

用以下命令可以显示表的文件实际的总大小，可以看到，和 totalSize 对应的值一致。

hadoop fs -du -s ${TABLE_PATH}

Parquet 格式表的测试

创建 parquet 格式的表，设置自动统计统计信息 hive.stats.autogather=true 后，插入同样一份数据到 parquet 格式的表。
然后使用 desc formatted $TABLE_NAME 显示的部分内容如下

	numFiles            	6                   
	numRows             	2160165             
	rawDataSize         	73445610            
	totalSize           	190743601          

可以看到 rawDataSize，少了很多，甚至比 totalSize 都少。

问题解决

这是 Hive 的一个 bug，在 Hive 4.0 修复，参考HIVE-20079