Hive 3.x|第十天|优化，调优

执行计划（Explain）

EXPLAIN [EXTENDED | DEPENDENCY | AUTHORIZATION] query

查看语句的执行计划

不生成MR任务的执行计划：

生成MR任务的执行计划：

查看执行计划详情：

explain extended select deptno,dname,SUM(loc) from dept_partition GROUP BY deptno,dname;
explain extended select * from test;

Fetch 抓取

Fetch 抓取是指，Hive 中对某些情况的查询可以不必使用 MapReduce 计算。
例如：SELECT FROM employees;
在这种情况下，Hive 可以简单地读取 employee 对应的存储目录下的文件，然后输出查询结果到控制台。

步骤

在 hive-default.xml.template 文件中 hive.fetch.task.conversion 默认是 more，老版本 hive默认是 minimal。
该属性修改为 more 以后，在全局查找、字段查找、limit 查找等都不走mapreduce。

1. 把 hive.fetch.task.conversion 设置成 none，然后执行查询语句，都会执行 mapreduce程序。

hive (default)> set hive.fetch.task.conversion=none;
hive (default)> select * from emp;
hive (default)> select ename from emp;
hive (default)> select ename from emp limit 3;

2. 把 hive.fetch.task.conversion 设置成 more，然后执行查询语句，如下查询方式都不会执行 mapreduce 程序。

hive (default)> set hive.fetch.task.conversion=more;
hive (default)> select * from emp;
hive (default)> select ename from emp;
hive (default)> select ename from emp limit 3;

本地模式

大多数的 Hadoop Job 需要 Hadoop 提供的完整的可扩展性来处理大数据集。不过，有时 Hive 的输入数据量非常小，在这种情况下，为查询触发执行任务消耗的时间可能会比实际 job 的执行时间要多的多。
对于大多数这种情况，Hive 可以通过本地模式在单台机器上处理所有的任务。对于小数据集，执行时间可以明显被缩短。
用户可以通过设置 hive.exec.mode.local.auto 的值为 true，来让 Hive 在适当的时候自动启动这个优化。

步骤

set hive.exec.mode.local.auto=true; //开启本地 mr
//设置 local mr 的最大输入数据量，当输入数据量小于这个值时采用local mr 的方式，默认为 134217728，即 128M
set hive.exec.mode.local.auto.inputbytes.max=50000000;
//设置 local mr 的最大输入文件个数，当输入文件个数小于这个值时采用 local mr 的方式，默认为 4
set hive.exec.mode.local.auto.input.files.max=10;