hive元数据相关表结构

概述

 hive是一个构建在hadoop hdfs之上的一个数据仓库。它能够对大量数据进行读写与管理。hive元数据默认是存在Derby数据库上，但是Derby是一个单session，每次只允许一个客户端连接，所以并不适用于生产。一般大家都把hive元数据存在mysql之上，不仅满足多用户连接，也可以将mysql搭建一主一备的集群，防止单点故障。

hive-site.xml配置

 下图是将hive元数据存储在mysql上的配置

<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/applocal?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8</value>
</property>
<property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
</property>

 MySQL中applocal库的所有表

+---------------------------+
| bucketing_cols            |
| cds                       |
| columns_v2                |
| database_params           |
| db_privs                  |
| dbs                       |
| func_ru                   |
| funcs                     |
| global_privs              |
| idxs                      |
| index_params              |
| part_col_privs            |
| part_col_stats            |
| part_privs                |
| partition_key_vals        |
| partition_keys            |
| partition_params          |
| partitions                |
| roles                     |
| sd_params                 |
| sds                       |
| sequence_table            |
| serde_params              |
| serdes                    |
| skewed_col_names          |
| skewed_col_value_loc_map  |
| skewed_string_list        |
| skewed_string_list_values |
| skewed_values             |
| sort_cols                 |
| tab_col_stats             |
| table_params              |
| tbl_col_privs             |
| tbl_privs                 |
| tbls                      |
| version                   |
+---------------------------+

1、version表(hive版本)
select * from version;

+--------+----------------+----------------------------------------+
| VER_ID | SCHEMA_VERSION | VERSION_COMMENT                        |
+--------+----------------+----------------------------------------+
|      1 | 1.1.0          | Set by MetaStore hadoop@172.18.172.174 |
+--------+----------------+----------------------------------------+

2、dbs， database_params
 里面存储的是hive所有数据库相关信息

•  select * from dbs;

数据库ID	数据库描述	数据库HDFS路径	数据库名	数据库所有者用户名	所有者角色
1	Default Hive database	hdfs://hadoop001:9000/user/hive/warehouse	default	public	ROLE
6	NULL	hdfs://hadoop001:9000/user/hive/warehouse/ya.db	ya	hadoop	USER

•  select * from database_params;

 该表存储数据库的相关参数，在CREATE DATABASE时候用
 WITH DBPROPERTIES (property_name=property_value, …)指定的参数。

元数据表字段	说明	示例数据
DB_ID	数据库ID	2
PARAM_KEY	参数名	createdby
PARAM_VALUE	参数值	ya

3、TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联

• select * from tbls;

该表中存储Hive表、视图、索引表的基本信息

表ID	创建时间	数据库ID	上次访问时间	所有者	保留字段	序列化配置信息（ 对应SDS表中的SD_ID）	表名	表类型	视图的详细HQL语句	视图的原始HQL语句
TBL_ID	CREATE_TIME	DB_ID	LAST_ACCESS_TIME	OWNER	RETENTION	SD_ID	TBL_NAME	TBL_TYPE	VIEW_EXPANDED_TEXT	VIEW_ORIGINAL_TEXT
11	1540281329	6	0	hadoop	0	11	emp	MANAGED_TABLE	NULL	NULL

• select * from table_params;
  该图存储表/视图的属性信息

表ID（对应TBLS的tbl_id）	属性名	属性值
TBL_ID	PARAM_KEY	PARAM_VALUE
11	transient_lastDdlTime	1540281329
16	COLUMN_STATS_ACCURATE	true
16	numFiles	1
16	rawDataSize	0
16	totalSize	700
16	transient_lastDdlTime	1540284682
16	EXTERNAL	TRUE

• TBL_PRIVS
  该表存储表/视图的授权信息

4、Hive文件存储信息相关的元数据表
 主要涉及SDS、SD_PARAMS、SERDES、SERDE_PARAMS
由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。

• select * from sds;
  文件存储的基本信息

存储信息ID（对应tbl_id）	字段信息ID（对应column_v2 的CD_ID）	文件输入格式	是否压缩	是否以子目录存储	HDFS路径	分桶数量	文件输出格式	序列化类ID
SD_ID	CD_ID	INPUT_FORMAT	IS_COMPRESSED	IS_STOREDASSUBDIRECTORIES
11	11	org.apache.hadoop.mapred.TextInputFormat			hdfs://hadoop001:9000/user/hive/warehouse/ya.db/emp	-1	org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat	11
16	16	org.apache.hadoop.mapred.TextInputFormat			hdfs://hadoop001:9000/user/hive/warehouse/emp	-1	org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat	16

• SD_PARAMS
  该表存储Hive存储的属性信息，在创建表时候使用
  STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。

• select * from serdes;
  该表存储序列化使用的类信息

序列化类配置ID（对应SDS的 SERDE_ID）	序列化类别名	序列化类
SERDE_ID	NAME	SLIB
11	NULL	org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
16	NULL	org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

• select * from serde_params;
  该表存储序列化的一些属性、格式信息,比如：行、列分隔符

序列化类配置ID（对应SDS的 SERDE_ID）	属性名	属性值
SERDE_ID	PARAM_KEY	PARAM_VALUE
11	serialization.format	1
16	field.delim
16	serialization.format
17	field.delim

5、Hive表字段相关的元数据表

• select * from columns_v2;
  表的字段信息

字段信息ID（对应SDS 表CD_ID）	字段注释	字段名	字段类型	字段顺序
11	NULL	age	int	1
11	NULL	ename	string	0
16	NULL	comm	double	6
16	NULL	deptno	int	7
16	NULL	empno	int	0

6、Hive表分区相关的元数据表
 主要涉及PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS

• select * from partitions ;
  分区的基本信息

分区ID	分区创建时间	最后一次访问时间	分区名	分区存储ID	表ID
PART_ID	CREATE_TIME	LAST_ACCESS_TIME	PART_NAME	SD_ID	TBL_ID
1	1540365533	0	order_month=2018-01	27	26
6	1540369168	0	order_month=2018-01/location=chengdu	32	31

• select * from partition_keys;
  分区的字段信息

表ID	说明	分区字段名	分区字段类型	分区字段值顺序
TBL_ID	PKEY_COMMENT	PKEY_NAME	PKEY_TYPE	NTEGER_IDX
26	NULL	order_month	string	0
31	NULL	location	string	1

• select * from partition_key_vals;
  该表存储分区字段值

分区ID	分区值	分区字段值顺序
PART_ID	PART_KEY_VAL	INTEGER_IDX
1	2018-01	0
6	2018-01	0
6	chengdu	1

• select * from partition_params;
  该表存储分区的属性信息

分区ID	分区字段值顺序	分区属性值
1	COLUMN_STATS_ACCURATE	true
1	numFiles	1
1	numRows	0
1	rawDataSize	0

7、其他不常用的元数据表

表名	作用
DB_PRIVS	数据库权限信息表。通过GRANT语句对数据库授权后，将会在这里存储
IDXS	索引表，存储Hive索引相关的元数据
INDEX_PARAMS	索引相关的属性信息
TAB_COL_STATS	表字段的统计信息。使用ANALYZE语句对表字段分析后记录在这里
TBL_COL_PRIVS	表字段的授权信息
PART_PRIVS	分区的授权信息
PART_COL_STATS	分区字段的统计信息
PART_COL_PRIVS	分区字段的权限信息
FUNCS	用户注册的函数信息
FUNC_RU	用户注册函数的资源信息

最后总结一下上述表之间的关联关系