(持续更新)2021-01-24-HiveSQL常用优化手段(Map Reduce)-HK
日常积累-HiveSQL的压缩方法+SQL整体优化(Map Reduce)子目录:配置parquet压缩设置压缩+自动分区(Parquet和ORC)SQL整体优化(多任务并行、减少任务数量)正文:Map Reduce:一个Hive查询会生成多个Map Reduce Job,每个Map Reduce Job有Map,Reduce,Spill,Shuffle,Sort等多个阶段配置parquet压缩两种配置方式:(1)在创建表时配置create table mytable(a in
原创
2021-01-24 16:55:21 ·
180 阅读 ·
0 评论