- 原则
- 优化时把握整体,单个作业最优不如整体最优
- 合理控制map reduce数量
- 减少job数量(合并,大的分拆)
- 合并小文件
- 避免倾斜
- 从表连接的角度优化:尽量使用内连接,因为内连接是两表都满足的行的组合,而外连接是以其中一个表的全部为基准
- 从索引的角度优化:对那些常用的查询字段简历索引,这样查询时值进行索引扫描,不读取数据块
- 可以在查询的过程中减少不必要的分区,字段
- 好Hadoop的首要任务是增大每次任务所搭载的数据量
- Hadoop就像吞吐量巨大的轮船,启动开销大,如果每次只做小数量的输入输出,利用率将会很低
- Hadoop的核心能力是parition和sort,因而这也是优化的根本
- 避实就虚,用 job 数的增加,输入量的增加,占用更多存储空间,充分利用空闲 CPU 等各种方法,分解数据倾斜造成的负担
- 策略
- 存储过程
- 减小job数量
- 分区
- 分桶
- batchinsert
- 临时表
- 全局索引
- 全文索引
- holodesk
- 目的
- 1) 减少数据访问(减少磁盘访问)
- 2) 减少中间结果量(减少网络传输或磁盘访问)
- 3) 减少交互次数(减少网络传输、减少调度开销)
- 4) 改进算法,减少服务器 CPU开销(减少 CPU及内存开销)
- 检查和优化的过程
- 资源使用。查看 系统界面,观察系统资源占用量与使用情况
- 查看 4040端口界面,观察是否存在这样两种异常:1.Task数目十 分庞大;2.某(些)Stage运行速度很慢
- 分析数据。获取每个表的各行各列的特性,比较分析是否存在记录行数很大的表、表与表的特点差异和记录条目数数量级的差距
- 分析执行计划。明确是否应该用 MapJoin,是否应调整 JOIN顺序,是 否需要谓词下推
- 分析过滤率。计算过滤率,核对 JOIN 顺序并做出调整,先 JOIN 数据量少过滤率高的表
- 对 SQL分类,选择典型,重点分析。从最影响性能且容易改善的部分 开始,不断优化、迭代,直至得到满意效果
Hive优化原则-策略-过程简述(持续更新完善中)
最新推荐文章于 2024-08-16 12:21:18 发布