Hive元数据解析

转自 ：  http://www.2cto.com/database/201311/255627.html

Hive元数据解析

Hive元数据解析

 

本文是笔者初步整理的Hive元数据表，有不准确的地方请轻拍，后续我会补充.

1. Hive 0.11 元数据表汇总

线上Hive 0.11 metastore包括下述39个表，主要分为以下几类 ：

 

    Database相关

    Table相关

    数据存储相关SDS

    COLUMN相关

    SERDE相关(序列化)

    Partition相关(分区)

    SKEW相关(数据倾斜)

    BUCKET相关(分桶)

     PRIVS相关(权限管理)

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45

mysql> show tables; + ---------------------------+ | Tables_in_hive_yz_test    | + ---------------------------+ | BUCKETING_COLS            | | CDS                       | | COLUMNS_V2                | | DATABASE_PARAMS           | | DBS                       | | DB_PRIVS                  | | GLOBAL_PRIVS              | | IDXS                      | | INDEX_PARAMS              | | NUCLEUS_TABLES            | | PARTITIONS                | | PARTITION_EVENTS          | | PARTITION_KEYS            | | PARTITION_KEY_VALS        | | PARTITION_PARAMS          | | PART_COL_PRIVS            | | PART_COL_STATS            | | PART_PRIVS                | | ROLES                     | | ROLE_MAP                  | | SDS                       | | SD_PARAMS                 | | SEQUENCE_TABLE            | | SERDES                    | | SERDE_PARAMS              | | SKEWED_COL_NAMES          | | SKEWED_COL_VALUE_LOC_MAP  | | SKEWED_STRING_LIST        | | SKEWED_STRING_LIST_VALUES | | SKEWED_VALUES             | | SORT_COLS                 | | TABLE_PARAMS              | | TAB_COL_STATS             | | TBLS                      | | TBL_COL_PRIVS             | | TBL_PRIVS                 | | TYPES                     | | TYPE_FIELDS               | | VERSION                   | + ---------------------------+ 39  rows in set (0.00 sec)

 

 

2.各个表的含义

2.1 Database表:DBS

 

 描述  该表存储Hive Database的元数据信息，DB_ID是 数据库ID,NAME是库名,DB_LOCATION_URI是数据库在HDFS中的位置，DESC为数据库的描述信息。

 

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

mysql>  desc DBS; + -----------------+---------------+------+-----+---------+-------+ | Field           | Type          |  Null |  Key |  Default | Extra | + -----------------+---------------+------+-----+---------+-------+ | DB_ID           |  bigint (20)    |  NO    | PRI |  NULL     |       | |  DESC             |  varchar (4000) | YES  |     |  NULL     |       | | DB_LOCATION_URI |  varchar (4000) |  NO    |     |  NULL     |       | |  NAME             |  varchar (128)  | YES  | UNI |  NULL     |       | + -----------------+---------------+------+-----+---------+-------+    例子：acorn_3g数据库的信息如下，表示该库ID为81，路径为hdfs://YZSJHL19-42.opi.com/warehouse.test/acorn_3g.db   mysql>  select *  from DBS  where NAME = 'acorn_3g' ; + -------+------+-------------------------------------------------------+----------+ | DB_ID |  DESC | DB_LOCATION_URI                                       |  NAME      | + -------+------+-------------------------------------------------------+----------+ |    81 |  NULL | hdfs://YZSJHL19-42.opi.com/warehouse.test/acorn_3g.db | acorn_3g | + -------+------+-------------------------------------------------------+----------+

 

2. 2 Table 表

 

描述:

 

         TBLS 存储Hive Table的元数据信息,每个表有唯一的TBL_ID

         SD_ID外键指向所属的Database,SD_IID关联SDS表的主键。 其中SDS存储列(CD_ID)等信息。TBLS.SD_ID关联SDS.SD_ID, SDS.SD_ID关联CDS.CD_ID,

         CDS.CD_ID关联COLUMNS_V2.CD_ID

例子：*acorn_3g.user_act表的信息:  TBL_ID为41231，TBL_TYPE为MANAGED_TABLE普通表(若值为EXTERNAL,表示外部表),DB_ID为81,表示隶属DB_ID=81的Database。

?

1 2 3 4 5 6 7 8 9 10 11 12 13

mysql>  select *  from TBLS  where TBL_NAME= 'user_act' and DB_ID=81 \G *************************** 1. row ***************************              TBL_ID: 41231         CREATE_TIME: 1366188055               DB_ID: 81    LAST_ACCESS_TIME: 0               OWNER: xianbing.liu           RETENTION: 0               SD_ID: 263311            TBL_NAME: user_act            TBL_TYPE: MANAGED_TABLE VIEW_EXPANDED_TEXT:  NULL VIEW_ORIGINAL_TEXT:  NULL

 

2.3 SDS表(数据存储表)

 

描述:  

 

     SDS表保存了Hive数据仓库所有的HDFS数据文件信息，每个SD_ID唯一标记一个数据存储记录

     CD_ID关联COLUMN_V2.CD_ID，指定该数据的字段信息

     SERDE_ID关联SERDES.SERDE_ID，指定该数据的序列化信息(如是否是序列化表，DELIMITED字段等)

例子：

 

     根据SDS表找到acorn_3g.user_act表的CD_ID是263311, SERDE_ID是263301,默认存储位置为

?

1 2 3 4 5 6 7 8 9 10 11 12 13

hdfs://YZSJHL19-42.opi.com/warehouse.test/acorn_3g.db/user_act   mysql>  select *  from SDS  where SD_ID=263311 \G *************************** 1. row ***************************                      SD_ID: 263311                      CD_ID: 263311               INPUT_FORMAT: org.apache.hadoop.mapred.TextInputFormat              IS_COMPRESSED:                   LOCATION: hdfs://YZSJHL19-42.opi.com/warehouse.test/acorn_3g.db/user_act                NUM_BUCKETS: -1              OUTPUT_FORMAT: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat                   SERDE_ID: 263301 IS_STOREDASSUBDIRECTORIES:

 

2.4 CDS 和 COLUMN_V2  (列信息)

 

CDS表

描述:

 

     该表只有一个字段CD_ID，永远存储整个Hive数据仓库中的CD_ID.

 

例子:

 

    可以看到acorn_3g.user_act表对应的CD_ID记录在CDS中

 

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

mysql>  desc CDS; + -------+------------+------+-----+---------+-------+ | Field | Type       |  Null |  Key |  Default | Extra | + -------+------------+------+-----+---------+-------+ | CD_ID |  bigint (20) |  NO    | PRI |  NULL     |       | + -------+------------+------+-----+---------+-------+ 1 row  in set (0.00 sec)   mysql>  select *  FROM CDS  where CD_ID=263311; + --------+ | CD_ID  | + --------+ | 263311 | + --------+ 1 row  in set (0.00 sec)

 

COLUMN_V2表

描述:

 

    该表存储了一个CD_ID对应的所有字段信息

 

例子:

 

    查看acorn_3g.user_act表的COLUMN信息;我们可以看到acorn_3g.user_act表有14个字段，COLUMN_NAME为字段名，TYPE_NAME为字段类型,INTEGER_IDX为字段序号

 

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

mysql>  select *  from COLUMNS_V2  where CD_ID=263311  order by   integer_idx; + --------+---------+---------------+-----------+-------------+ | CD_ID  | COMMENT | COLUMN_NAME   | TYPE_NAME | INTEGER_IDX | + --------+---------+---------------+-----------+-------------+ | 263311 |  NULL     | id            |  bigint     |           0 | | 263311 |  NULL     | action_id     |  int        |           1 | | 263311 |  NULL     | user_id       |  bigint     |           2 | | 263311 |  NULL     | request       | string    |           3 | | 263311 |  NULL     | visit_time    | string    |           4 | | 263311 |  NULL     | source_id     |  int        |           5 | | 263311 |  NULL     | sess_id       | string    |           6 | | 263311 |  NULL     | mobile_number | string    |           7 | | 263311 |  NULL     | from_id       | string    |           8 | | 263311 |  NULL     | app_id        | string    |           9 | | 263311 |  NULL     | version       | string    |          10 | | 263311 |  NULL     | reg_type      |  int        |          11 | | 263311 |  NULL     | uniqid        | string    |          12 | | 263311 |  NULL     | failure       |  int        |          13 | + --------+---------+---------------+-----------+-------------+ 2.5 SERDES和SERDE_PARAMS  (序列化)

 

 

描述:

 

    SERDES存储了所有的序列化信息(SERDE_ID,SLIB),SLIB表示序列化所采用的 Java类

 

    SERDES_PARAMS 存储序列化具体的参数及值

 

例子：

 

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

acorn_3g.user_act表对应的SERDE_ID=263301表示 采用hive默认序列化类org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe , DELIMITED字符为 '\t' (即创建表时指定的 ...DELIMITED　 BY '\t' ...)   mysql>  select *  FROM SERDES  where SERDE_ID=263301; + ----------+------+----------------------------------------------------+ | SERDE_ID |  NAME | SLIB                                               | + ----------+------+----------------------------------------------------+ |   263301 |  NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe | + ----------+------+----------------------------------------------------+   mysql>  select SERDE_ID,PARAM_KEY, REPLACE (PARAM_VALUE, '\t' , '\\t' )  from SERDE_PARAMS  where SERDE_ID=263301; + ----------+----------------------+---------------------------------+ | SERDE_ID | PARAM_KEY            |  REPLACE (PARAM_VALUE, '\t' , '\\t' ) | + ----------+----------------------+---------------------------------+ |   263301 | field.delim          | \t                              | |   263301 | serialization.format | \t                              | + ----------+----------------------+---------------------------------+

 

2.6 PARTITIONS PARTITION_KEY 和 PARTITION_KEY_VALS  (分区)

 

PARTITION_KEYS

描述:

 

    PARTITION_KEYS 保存了所有分区表用于分区的字段

 

例子:

 

   通过PARTITION_KEYS查看acorn_3g.user_act的分区信息，可看到该表是一个分区表，分区字段为log_date,其中INTEGER_IDX为分区字段的序号，和分区字段一一对应

 

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

mysql>  desc PARTITION_KEYS; + --------------+---------------+------+-----+---------+-------+ | Field        | Type          |  Null |  Key |  Default | Extra | + --------------+---------------+------+-----+---------+-------+ | TBL_ID       |  bigint (20)    |  NO    | PRI |  NULL     |       | | PKEY_COMMENT |  varchar (4000) | YES  |     |  NULL     |       | | PKEY_NAME    |  varchar (128)  |  NO    | PRI |  NULL     |       | | PKEY_TYPE    |  varchar (767)  |  NO    |     |  NULL     |       | | INTEGER_IDX  |  int (11)       |  NO    |     |  NULL     |       | + --------------+---------------+------+-----+---------+-------+   mysql>  select *  FROM PARTITION_KEYS  WHERE TBL_ID=41231; + --------+--------------+-----------+-----------+-------------+ | TBL_ID | PKEY_COMMENT | PKEY_NAME | PKEY_TYPE | INTEGER_IDX | + --------+--------------+-----------+-----------+-------------+ |  41231 |  NULL          | log_date  | string    |           0 | + --------+--------------+-----------+-----------+-------------+ PARTITIONS

 

描述:

 

    PARTITIONS存储了Hive数据仓库总所有的分区信息，每个分区由PART_ID标识，其中TBL_ID为隶属的Table,SD_ID为隶属的SDS(见2.3)

 

例子:

 

   通过PARTITIONS表查看acorn_3g.user_act表的分区信息，如PART_ID为168301，名字为log_date=2013-03-01,SD_ID为231621

 

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

mysql>  desc PARTITIONS; + ------------------+--------------+------+-----+---------+-------+ | Field            | Type         |  Null |  Key |  Default | Extra | + ------------------+--------------+------+-----+---------+-------+ | PART_ID          |  bigint (20)   |  NO    | PRI |  NULL     |       | | CREATE_TIME      |  int (11)      |  NO    |     |  NULL     |       | | LAST_ACCESS_TIME |  int (11)      |  NO    |     |  NULL     |       | | PART_NAME        |  varchar (767) | YES  | MUL |  NULL     |       | | SD_ID            |  bigint (20)   | YES  | MUL |  NULL     |       | | TBL_ID           |  bigint (20)   | YES  | MUL |  NULL     |       | + ------------------+--------------+------+-----+---------+-------+   mysql>  select *  FROM PARTITIONS  WHERE TBL_ID=41231  order by PART_NAME limit 5; + ---------+-------------+------------------+---------------------+--------+--------+ | PART_ID | CREATE_TIME | LAST_ACCESS_TIME | PART_NAME           | SD_ID  | TBL_ID | + ---------+-------------+------------------+---------------------+--------+--------+ |  168301 |  1366259946 |                0 | log_date=2013-03-01 | 231621 |  41231 | |  168321 |  1366260063 |                0 | log_date=2013-03-02 | 231641 |  41231 | |  168331 |  1366260176 |                0 | log_date=2013-03-03 | 231651 |  41231 | |  168346 |  1366260298 |                0 | log_date=2013-03-04 | 231666 |  41231 | |  168361 |  1366260398 |                0 | log_date=2013-03-05 | 231681 |  41231 | + ---------+-------------+------------------+---------------------+--------+--------+ PARTITION_KEY_VALS

 

描述：

 

    PARTITION_KEY_VALS 存储了PARTITION_KEY中描述的分区字段的值，通常配合PARTITIONS 和PARTITION_KEYS表使用。

 

例子:

 

    查看分区PART_ID=168301各分区字段的值，其中PARTITION_KEY_VALS存储了所有分区字段序号(INTEGER_IDX)和值(PART_KEY_VAL)间的对应关系。本例中acorn_3g.user_act PART_ID=168301分区log_date字段的值为‘2013-03-01’

 

?

1 2 3 4 5 6 7

mysql>  select pk.PKEY_NAME,pk.PKEY_TYPE,pk.INTEGER_IDX,pkv.PART_KEY_VAL  from PARTITION_KEYS pk,PARTITION_KEY_VALS pkv         where pk.INTEGER_IDX=pkv.INTEGER_IDX  and pk.TBL_ID=41231  and   pkv.PART_ID=168301; + -----------+-----------+-------------+--------------+ | PKEY_NAME | PKEY_TYPE | INTEGER_IDX | PART_KEY_VAL | + -----------+-----------+-------------+--------------+ | log_date  | string    |           0 | 2013-03-01   | + -----------+-----------+-------------+--------------+

 

2.7 BUCKET 相关表

 

描述

 

    BUCKETING_COLS表描述了所有采用了分桶技术的SDS,目前公司未用BUCKET,//TODO

 

?

1 2 3 4 5 6 7 8

mysql>  desc BUCKETING_COLS; + -----------------+--------------+------+-----+---------+-------+ | Field           | Type         |  Null |  Key |  Default | Extra | + -----------------+--------------+------+-----+---------+-------+ | SD_ID           |  bigint (20)   |  NO    | PRI |  NULL     |       | | BUCKET_COL_NAME |  varchar (256) | YES  |     |  NULL     |       | | INTEGER_IDX     |  int (11)      |  NO    | PRI |  NULL     |       | + -----------------+--------------+------+-----+---------+-------+

 

2.8 PRIVS 权限管理相关表

 

TBL_PRIVS DB_PRIVS PART_PRIVS 等，目前Hive在权限管理方面远不及关系数据库，公司也未对权限进行统一管理。

 

2.9 SKEW 数据倾斜相关表

 

相比0.8版本，0.11元数据增加了数据倾斜相关的表 SKEWED_COL_NAMES  SKEWED_COL_VALUE_LOC_MAP  SKEWED_STRING_LIST SKEWED_STRING_LIST_VALUES SKEWED_VALUES ，这些高级特性还在测试阶段，目前公司没有用到。

 

2.3 其他

 

如VERSION 描述版本信息，这类表开发者不用太关心。