(持续更新)2021-01-24-HiveSQL常用优化手段(Map Reduce)-HK
日常积累-HiveSQL的压缩方法+SQL整体优化(Map Reduce)
子目录:
配置parquet压缩
设置压缩+自动分区(Parquet和ORC)
SQL整体优化(多任务并行、减少任务数量)
正文:
Map Reduce:
一个Hive查询会生成多个Map Reduce Job,每个Map Reduce Job有Map,Reduce,Spill,Shuffle,Sort等多个阶段
配置parquet压缩
两种配置方式:
(1)在创建表时配置
create table mytable(a in
原创
2021-01-24 16:55:21 ·
186 阅读 ·
0 评论