Hive analyze命令解析

关于Hive analyze命令

1. 命令用法：

表与分区的状态信息统计

ANALYZE TABLE tablename

[PARTITION(partcol1[=val1], partcol2[=val2], ...)]

COMPUTE STATISTICS [noscan];

列信息统计

ANALYZE TABLE tablename

[PARTITION(partcol1[=val1], partcol2[=val2], ...)]

COMPUTE STATISTICS FOR COLUMNS ( columns name1 , columns name2…) [noscan];

当表存在分区时，需要在命令中指定，否则会报错；

不支持使用列与表的别名

2. 某个有分区表的analyze命令执行结果：

Partition default.test{dt=a} stats: [num_files: 1, num_rows: 0, total_size: 41, raw_data_size: 0]

Table default.test stats: [num_partitions: 1, num_files: 1, num_rows: 0, total_size: 41, raw_data_size: 0]

3. 源码分析执行过程

命令的执行步骤：

当完成命令转化完ast树时 进入ColumnStatsSemanticAnalyzer类。

1) 命令类型的检查（ 比如 no scan , partial scan 等）

2) 查询重写，例如执行以下查询：

analyze table pokes compute statistics for columns foo,bar;

以上查询会根据ast树，获取 表名， 列名，列的数量和类型。分区名字，数量等信息。生成一个新的查询：

select compute_stats(foo , 16 ) , compute_stats(bar , 16 ) from pokes

3) 生成新的ast树

4) 回到Driver 完成语法分析，生成查询计划。 在做语法分析时使用了新的ast树和原有的ctx

5) 生成一个列统计的任务替代fetch task，并写统计信息到metastore中。列统计任务的生成是通过MapReduceCompiler 类中的genColumsStatsTask方法来完成的，每个task中都有对应的work 。核心代码如下：

对于2中的查询，所生成的rootTasks 如下：

上图中的MapRedTask会执行一次聚合操作的RS.

6) 生成plan 。 对于2中的查询，将会生成如下的plan:

{"queryId":"zhangyun_20140403102424_07e3332f-12b9-4c54-b30f-f5fc912bb032","queryType":null,"queryAttributes":{"queryString":"analyze table pokes compute statistics for columns foo,bar"},"queryCounters":"null","stageGraph":{"nodeType":"STAGE","roots":"null","adjacencyList":"]"},"stageList":[{"stageId":"Stage-0","stageType":"MAPRED","stageAttributes":"null","stageCounters":"}","taskList":[{"taskId":"Stage-0_MAP","taskType":"MAP","taskAttributes":"null","taskCounters":"null","operatorGraph":{"nodeType":"OPERATOR","roots":"null","adjacencyList":[{"node":"TS_0","children":["SEL_1"],"adjacencyType":"CONJUNCTIVE"},{"node":"SEL_1","children":["GBY_2"],"adjacencyType":"CONJUNCTIVE"},{"node":"GBY_2","children":["RS_3"],"adjacencyType":"CONJUNCTIVE"}]},"operatorList":[{"operatorId":"TS_0","operatorType":"TABLESCAN","operatorAttributes":"null","operatorCounters":"null","done":"false","started":"false"},{"operatorId":"SEL_1","operatorType":"SELECT","operatorAttributes":"null","operatorCounters":"null","done":"false","started":"false"},{"operatorId":"GBY_2","operatorType":"GROUPBY","operatorAttributes":"null","operatorCounters":"null","done":"false","started":"false"},{"operatorId":"RS_3","operatorType":"REDUCESINK","operatorAttributes":"null","operatorCounters":"null","done":"false","started":"false"}],"done":"false","started":"false"},{"taskId":"Stage-0_REDUCE","taskType":"REDUCE","taskAttributes":"null","taskCounters":"null","operatorGraph":{"nodeType":"OPERATOR","roots":"null","adjacencyList":[{"node":"GBY_4","children":["SEL_5"],"adjacencyType":"CONJUNCTIVE"},{"node":"SEL_5","children":["FS_6"],"adjacencyType":"CONJUNCTIVE"}]},"operatorList":[{"operatorId":"GBY_4","operatorType":"GROUPBY","operatorAttributes":"null","operatorCounters":"null","done":"false","started":"false"},{"operatorId":"SEL_5","operatorType":"SELECT","operatorAttributes":"null","operatorCounters":"null","done":"false","started":"false"},{"operatorId":"FS_6","operatorType":"FILESINK","operatorAttributes":"null","operatorCounters":"null","done":"false","started":"false"}],"done":"false","started":"false"}],"done":"false","started":"false"},{"stageId":"Stage-1","stageType":"COLUMNSTATS","stageAttributes":"null","stageCounters":"}","taskList":[{"taskId":"Stage-1_OTHER","taskType":"OTHER","taskAttributes":"null","taskCounters":"null","operatorGraph":"null","operatorList":"]","done":"false","started":"false"}],"done":"false","started":"false"}],"done":"false","started":"false"}

7) 列统计信息的输出schema

Schema(

fieldSchemas:[FieldSchema(name:_c0,type:struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,numdistinctvalues:bigint>,comment:null),

FieldSchema(name:_c1,type:struct<columntype:string,maxlength:bigint,avglength:double,countnulls:bigint,numdistinctvalues:bigint>, comment:null)],

properties:null)

以下是一些总结的资料：

1:列统计

针对表中的列数，特定列数据的直方图，有多种方式可以实现。作为查询优化的一种方法，统计输入给优化器的代价函数，然后优化器比较不同的计划，并从中获取较优的计划。

统计有时能够满足用户的查询，从而让用户，快速获取结果（需执行存储的统计信息，而不需要触发长时间的执行计划）

注： 以上来自wiki 但目前还没有实现统计输入给优化器的这种优化。

2：范围

Hive 现在支持的表和分区级别的统计， 不支持列中数据的统计。由于这些表和分区的统计不足以完成1中所述通过cost model 计算获取最优的计算。

统计首先要支持表和分区，这些统计会存在MetaStore中

比如分区：

• Number of Rows

• Number of files

• Size in Bytes.

针对表，还包括表中的分区的格式Number of Partitions

针对分区级别的统计，可以实现列级别前N个值Top K Statistics

3:实现

针对新创建的表，如果一个JOB创建一个表通过MapReduce Job,每个Mapper在复制列时，对应收集统计信息在Job结束时，也被汇总存在在MetaStore中

针对已经存在的表，在表扫描操作时，也会搜集相应的统计信息，并且存储在结果中

当然，需要一个数据库存储临时的统计数据：MySQL或者HBase

有两个接口

IStatsPublisher

IStatsAggregateor

4. 具体接口内容：

public interface IStatsPublisher{
public boolean init(Configuration hconf);

public boolean publishStat(String rowID,String key,String value);

public boolean terminate();
}

public interface IStatsAggregator{
public boolean init(Configuration hconf);

public String aggregateStats(String rowID,String key);

public boolean terminate();
}

场景：

1:新创建的表

针对通过INSERT OVERWRITE生成的表和分区，统计会自动计算生成，可以通过配置控制是否生效

set hive.stats.autogather=false;

将不会生成统计信息

用户可以自定义统计的实现，来指定临时统计信息的存储

hive.stats.dbclass=hbase

将通过hbase来存储

缺省为{{jdbc:derby}}

针对通过JDBC来实现临时存储统计(Derby或者mysql)，用户可以指定对应的连接字符变量

set hive.stats.dbclass=jdbc:derby;

set hive.stats.dbconnectionstring="jdbc:derby:;databaseName=TempStatsStore;create=true";

set hive.stats.jdbcdriver="org.apache.derby.jdbc.EmbeddedDriver";

针对查询可能会无法准确的收集统计信息

可通过hive.stats.reliable可以设置如果不能够可靠的收集统计信息，则查询失败，缺省是false

2:已存在的表

对应已存在的表，需要通过

ANALYZE来搜集统计信息并写入MetaStore

ANALYZE TABLE tablename [PARTITION(partcol1[=val1], partcol2[=val2], ...)] COMPUTE STATISTICS [noscan];

如果用户执行该命令，但是不指定任何分区时，会搜集所有表和分区，如果指定分区则只搜集该分区的统计信息

如果统计是跨分区的，则分区列仍然需要指定

如果noscan参数指定，该命令就不扫描文件，从而更快，但是此时的统计就只限于如下项：

• Number of files

• Physical size in bytes

实例：

假定有一个表具有4个分区

• Partition1: (ds='2013-03-08', hr=11)

• Partition2: (ds='2013-03-08', hr=12)

• Partition3: (ds='2013-03-09', hr=11)

• Partition4: (ds='2013-03-09', hr=12)

执行命令如下

ANALYZE TABLE Table1 PARTITION(ds='2013-03-09', hr=11) COMPUTE STATISTICS;

将只搜集分区3

如果执行

ANALYZE TABLE Table1 PARTITION(ds='2013-03-09', hr) COMPUTE STATISTICS;

则同时搜集分区间3和4

如果执行

ANALYZE TABLE Table1 PARTITION(ds, hr) COMPUTE STATISTICS;

则搜集所有分区

针对分分区表，通过

ANALYZE TABLE Table1 COMPUTE STATISTICS;

查看分区的统计信息：

DESCRIBE EXTENDED TABLE1;

输入类似：

... , parameters:{numPartitions=4, numFiles=16, numRows=2000, totalSize=16384, ...}, ....

实例：

DESCRIBE EXTENDED TABLE1 PARTITION(ds='2013-03-09', hr=11);