Hive性能优化

Hive性能调优工具

1.EXPLAN(执行计划)
显示查询语句的执行计划，但不运行
通过工具生成可视化执行计划

(1)基本语法

EXPLAIN [EXTENDED | DEPENDENCY | AUTHORIZATION] query

①EXTENDED
提供执行计划关于操作的额外信息，比如文件路径
②DEPENDENCY
提供JSON格式输出，包括查询所依赖的表和分区列表
③AUTHORIZATION
列出所有需要授权的实体，包括查询的输入输出和授权失败
(2)实例演示:
①查看下面这条语句的执行计划

hive (default)> explain select * from emp;
hive (default)> explain select deptno, avg(sal) avg_sal from emp group by 
deptno;

②查看详细执行计划

hive (default)> explain extended select * from emp;
hive (default)> explain extended select deptno, avg(sal) avg_sal from emp group 
by deptno;

2.ANALYZE
分析表数据，用于执行计划选择的参考
(1)特点:
①收集表的统计信息，如行数、最大值等
②使用时调用该信息加速查询
(2)语法

ANALYZE TABLE employee COMPUTE STATISTICS; 

ANALYZE TABLE employee_partitioned 
PARTITION(year=2014, month=12) COMPUTE STATISTICS;

ANALYZE TABLE employee_id