【硬刚Hive】Hive面试题(6)Hive调优全方位指南(一)

正文目录

• 1、表层面

  1. 1.1 利用分区表优化

  2. 1.2 利用分桶表优化

  3. 1.3 选择合适的文件存储格式

  4. 1.4 选择合适的压缩格式

• 2、HQL层面优化

  1. 2.1 执行计划

  2. 2.1 列、行、分区裁剪

  3. 2.2 谓词下推

  4. 2.3 合并小文件

  5. 2.4 合理设置MapTask并行度

  6. 2.5 合理设置ReduceTask并行度

  7. 2.6 Join优化

  8. 2.7 CBO优化

  9. 2.8 Group By优化

  10. 2.9 Order By优化

  11. 2.10 Count Distinct 优化

  12. 2.11 怎样写in/exists语句

  13. 2.12 使用 vectorization 矢量查询技术

  14. 2.13 多重插入模式

  15. 2.14 启动中间结果压缩

• 3、Hive架构层面

  1. 3.1 启用本地抓取（默认开启）

  2. 3.2 本地执行优化

  3. 3.3 JVM重用

  4. 3.4 并行执行

  5. 3.5 推测执行

  6. 3.6 Hive严格模式

• 4、数据倾斜