hadoop job 数量_[一起学Hive]之十九-使用Hive API分析HQL的执行计划、Job数量和表的血缘关系...

关键字：Hive HQL Job数量、Hive执行计划、Hive LineageInfo

本文介绍使用Hive的API获取一条HQL的最终执行计划，从而获取这条HQL的Job数量，另外，介绍使用API分析一条HQL中所包含的输入表和输出表。这些信息在做元数据管理和Hive表的血缘分析时候很有用。

Hive在执行一条HQL的时候，会经过以下步骤：

语法解析：Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象 语法树AST Tree；

语义解析：遍历AST Tree，抽象出查询的基本组成单元QueryBlock；

生成逻辑执行计划：遍历QueryBlock，翻译为执行操作树OperatorTree；

优化逻辑执行计划：逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少shuffle数据量；

生成物理执行计划：遍历OperatorTree，翻译为MapReduce任务；

优化物理执行计划：物理层优化器进行MapReduce任务的变换，生成最终的执行计划；

关于这几个步骤，在美团的技术博客上有一篇文章介绍的非常好，可以参考：http://tech.meituan.com/hive-sql-to-mapreduce.html

一般情况下，HQL中的每一个表或者子查询都会生成一个job，这是逻辑执行计划中生成的，但后面Hive还会优化，比如：使用MapJoin，最终一条HQL语句生成的job数量很难通过HQL观察出来。

获取HQL的执行计划和Job数量

直接看代码吧：

package com.lxw1234.test;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.hive.conf.HiveConf;

import org.apache.hadoop.hive.ql.Context;

import org.apache.hadoop.hive.ql.QueryPlan;

import org.apache.hadoop.hive.ql.exec.Utilities;

import org.apache.hadoop.hive.ql.parse.ASTNode;

import org.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer;

import org.apache.hadoop.hive.ql.parse.ParseDriver;

import org.apache.hadoop.hive.ql.parse.ParseUtils;

import org.apache.hadoop.hive.ql.parse.SemanticAnalyzerFactory;

import org.apache.hadoop.hive.ql.session.SessionState;

/**

* lxw的大数据田地 -- lxw1234.com

* @author lxw1234

*

*/

public class HiveQueryPlan {

public static void main(String[] args) throws Exception {

HiveConf conf = new HiveConf();

conf.addResource(new Path("file:///usr/local/apache-hive-0.13.1-bin/conf/hive-site.xml"));

conf.addResource(new Path("file:///usr/local/apache-hive-0.13.1-bin/conf/hive-