7、Hive/HiveQL常用优化方法全面总结(上篇)

目录

  • 列裁剪和分区裁剪
  • 谓词下推
  • sort by代替order by
  • group by代替distinct
  • group by配置调整
    • map端预聚合
    • 倾斜均衡配置项
  • join基础优化
    • build table(小表)前置
    • 多表join时key相同
    • 利用map join特性
    • 分桶表map join
    • 倾斜均衡配置项
  • 优化SQL处理join数据倾斜
    • 空值或无意义值
    • 单独处理倾斜key
    • 不同数据类型
    • build table过大
  • MapReduce优化
    • 调整mapper数
    • 调整reducer数
    • 合并小文件
    • 启用压缩
    • JVM重用
  • 并行执行与本地模式
  • 严格模式
  • 采用合适的存储格式

 

发布了42 篇原创文章 · 获赞 95 · 访问量 114万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览