Hive优化原则-策略-过程简述（持续更新完善中）

• 原则
  • 优化时把握整体，单个作业最优不如整体最优
  • 合理控制map reduce数量
  • 减少job数量（合并，大的分拆）
  • 合并小文件
  • 避免倾斜
  • 从表连接的角度优化：尽量使用内连接，因为内连接是两表都满足的行的组合，而外连接是以其中一个表的全部为基准
  • 从索引的角度优化：对那些常用的查询字段简历索引，这样查询时值进行索引扫描，不读取数据块
  • 可以在查询的过程中减少不必要的分区，字段
  • 好Hadoop的首要任务是增大每次任务所搭载的数据量
  • Hadoop就像吞吐量巨大的轮船，启动开销大，如果每次只做小数量的输入输出，利用率将会很低
  • Hadoop的核心能力是parition和sort，因而这也是优化的根本
  • 避实就虚，用 job 数的增加，输入量的增加，占用更多存储空间，充分利用空闲 CPU 等各种方法，分解数据倾斜造成的负担
• 策略
  • 存储过程
  • 减小job数量
  • 分区
  • 分桶
  • batchinsert
  • 临时表
  • 全局索引
  • 全文索引
  • holodesk
• 目的
  • 1) 减少数据访问（减少磁盘访问）
  • 2) 减少中间结果量（减少网络传输或磁盘访问）
  • 3) 减少交互次数（减少网络传输、减少调度开销）
  • 4) 改进算法，减少服务器 CPU开销（减少 CPU及内存开销）
• 检查和优化的过程
  • 资源使用。查看 系统界面，观察系统资源占用量与使用情况
  • 查看 4040端口界面，观察是否存在这样两种异常：1.Task数目十 分庞大；2.某（些）Stage运行速度很慢
  • 分析数据。获取每个表的各行各列的特性，比较分析是否存在记录行数很大的表、表与表的特点差异和记录条目数数量级的差距
  • 分析执行计划。明确是否应该用 MapJoin，是否应调整 JOIN顺序，是 否需要谓词下推
  • 分析过滤率。计算过滤率，核对 JOIN 顺序并做出调整，先 JOIN 数据量少过滤率高的表
  • 对 SQL分类，选择典型，重点分析。从最影响性能且容易改善的部分 开始，不断优化、迭代，直至得到满意效果