Hive(五):常见存储格式的性能测试、比较

• 测试文件:https://blog.csdn.net/huonan_123/article/details/84784811
• 大小:18.1M

1. 测试方法

• 以下是测试textFile存储的Demo,其它存储的测试方法参照既可以

create table page_views_text(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 
stored as textFile;

insert overwrite table page_views_text select * from page_views;

2. 比较

• 测试数据比较

存储格式	原文件大小	当前存储格式下文件大小	存储耗时
textFile(默认)	18.1M	18.1M	19015089
parquet	18.1M	13.1M	13721063
RCFile	18.1M	17.9 M	18799676
ORC(默认内置压缩ZLIB)	18.1M	2.8 M	2914107