Hive元数据表结构详解

最新推荐文章于 2024-02-10 23:16:00 发布
最新推荐文章于 2024-02-10 23:16:00 发布
阅读量1.3w 收藏 62
点赞数 8
分类专栏： Hive hive 文章标签： hive mysql matedata hive元数据表结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yu0_zhang0/article/details/80697913
版权
hive 同时被 2 个专栏收录
15 篇文章 7 订阅
订阅专栏
Hive
10 篇文章 6 订阅
订阅专栏

概述

我们知道Apache Hive 是构建在Apache Hadoop之上的数据仓库。有助于对大型的数据集进行读、写和管理。这也是官网介绍的第一句话，虽然简短但是却能提炼出很多东西，大家可以去细细品味下。该篇博客不做过多讲述。本文我们介绍Hive的原数据表，他默认是存储再derby中的，但是我们一般会修改会mysql。作者使用的也是mysql进行的管理。

Hive元数据表结构

  • hive-site.xml
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost:3306/basic01?createDatabaseIfNotExist=true</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
  • 通过mysql查看basic01数据库
show tables;
+---------------------------+
| Tables_in_basic01         |
+---------------------------+
| bucketing_cols            |
| cds                       |
| columns_v2                |
| database_params           |
| dbs                       |
| func_ru                   |
| funcs                     |
| global_privs              |
| idxs                      |
| index_params              |
| part_col_privs            |
| part_col_stats            |
| part_privs                |
| partition_key_vals        |
| partition_keys            |
| partition_params          |
| partitions                |
| roles                     |
| sd_params                 |
| sds                       |
| sequence_table            |
| serde_params              |
| serdes                    |
| skewed_col_names          |
| skewed_col_value_loc_map  |
| skewed_string_list        |
| skewed_string_list_values |
| skewed_values             |
| sort_cols                 |
| tab_col_stats             |
| table_params              |
| tbl_col_privs             |
| tbl_privs                 |
| tbls                      |
| version                   |
+---------------------------+

下面我们就一个一个讲解看看其中到底是什么关系。

version（存储Hive版本的元数据表）
VER_IDSCHEMA_VERSIONVERSION_COMMENT
ID主键Hive版本版本说明
10.12.0Set by MetaStore hadoop@192.168.137.130

如果该表出现问题，根本进入不了Hive-Cli。比如该表不存在，当启动Hive-Cli时候，就会报错”Table ‘hive.version’ doesn’t exist”。

Hive数据库相关的元数据表（DBS、DATABASE_PARAMS）
  • select * from dbs
    该表存储Hive中所有数据库的基本信息，字段如下：
数据库ID数据库描述数据库HDFS路径数据库名数据库所有者用户名所有者角色
DB_IDDESCDB_LOCATION_URINAMEOWNER_NAMEOWNER_TYPE
1Default Hive databasehdfs://192.168.137.130:9000/user/hive/warehousedefaultpublicROLE
6NULLhdfs://192.168.137.130:9000/user/hive/warehouse/hive.dbhivehadoopUSER
  • select * from database_params;
    该表存储数据库的相关参数，在CREATE DATABASE时候用
    WITH DBPROPERTIES (property_name=property_value, …)指定的参数。
元数据表字段说明示例数据
DB_ID数据库ID2
PARAM_KEY参数名createdby
PARAM_VALUE参数值lxw1234
Hive表和视图相关的元数据表

主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。

  • select * from tbls;
    该表中存储Hive表、视图、索引表的基本信息。
表ID创建时间数据库ID上次访问时间所有者保留字段序列化配置信息（ 对应SDS表中的SD_ID）表名表类型视图的详细HQL语句视图的原始HQL语句
TBL_IDCREATE_TIMEDB_ID LAST_ACCESS_TIMEOWNERRETENTIONSD_IDTBL_NAMETBL_TYPEVIEW_EXPANDED_TEXTVIEW_ORIGINAL_TEXT
1151994417060hadoop01page_viewsMANAGED_TABLENULLNULL
2151994431360hadoop02page_views_bzip2MANAGED_TABLENULLNULL
3151994481960hadoop03page_views_snappyMANAGED_TABLENULLNULL
  • select * from table_params;
    该表存储表/视图的属性信息。
表ID（对应TBLS的tbl_id）属性名属性值
TBL_IDPARAM_KEYPARAM_VALUE
1COLUMN_STATS_ACCURATEtrue
1numFiles1
1numRows0
1rawDataSize0
1totalSize19014993
1transient_lastDdlTime1519944212
2COLUMN_STATS_ACCURATEtrue
2numFiles1
2numRows100000
2rawDataSize18914993
2totalSize3814674
2transient_lastDdlTime1519944314
  • TBL_PRIVS
    该表存储表/视图的授权信息
Hive文件存储信息相关的元数据表

主要涉及SDS、SD_PARAMS、SERDES、SERDE_PARAMS
由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。

  • select * from sds;
    文件存储的基本信息：
存储信息ID（对应tbls表中的SD_ID ）字段信息ID（对应column_v2 的CD_ID）文件输入格式是否压缩是否以子目录存储HDFS路径分桶数量文件输出格式序列化类ID
SD_IDCD_IDINPUT_FORMATIS_COMPRESSEDIS_STOREDASSUBDIRECTORIESLOCATIONNUM_BUCKETSOUTPUT_FORMATSERDE_ID
11org.apache.hadoop.mapred.TextInputFormathdfs://192.168.137.130:9000/user/hive/warehouse/hive.db/page_views-1org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat1
22org.apache.hadoop.mapred.TextInputFormathdfs://192.168.137.130:9000/user/hive/warehouse/hive.db/page_views_bzip2-1org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat2
33org.apache.hadoop.mapred.TextInputFormathdfs://192.168.137.130:9000/user/hive/warehouse/hive.db/page_views_snappy-1org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat3
2121org.apache.hadoop.mapred.TextInputFormathdfs://192.168.137.130:9000/user/hive/warehouse/hive.db/tt-1org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat21
2222org.apache.hadoop.mapred.SequenceFileInputFormathdfs://192.168.137.130:9000/user/hive/warehouse/hive.db/page_views_seq-1org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat22
2323org.apache.hadoop.hive.ql.io.RCFileInputFormathdfs://192.168.137.130:9000/user/hive/warehouse/hive.db/page_views_rcfile-1org.apache.hadoop.hive.ql.io.RCFileOutputFormat23
2424org.apache.hadoop.hive.ql.io.orc.OrcInputFormathdfs://192.168.137.130:9000/user/hive/warehouse/hive.db/page_views_orc_zlib-1org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat24
2727com.hadoop.mapred.DeprecatedLzoTextInputFormathdfs://192.168.137.130:9000/user/hive/warehouse/hive.db/page_views_lzo_index-1org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat27

  • SD_PARAMS
    该表存储Hive存储的属性信息，在创建表时候使用
    STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。

  • select * from serdes;
    该表存储序列化使用的类信息

序列化类配置ID（对应SDS的 SERDE_ID）序列化类别名序列化类
SERDE_ID NAMESLIB
1NULLorg.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2NULLorg.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
3NULLorg.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
21NULLorg.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
22NULLorg.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
23NULLorg.apache.hadoop.hive.serde2.columnar.ColumnarSerDe
24NULLorg.apache.hadoop.hive.ql.io.orc.OrcSerde
  • select * from serde_params;
    该表存储序列化的一些属性、格式信息,比如：行、列分隔符
序列化类配置ID（对应SDS的 SERDE_ID）属性名属性值
SERDE_IDPARAM_KEYPARAM_VALUE
1field.delim
1serialization.format
2field.delim
2serialization.format
3field.delim
3serialization.format
21field.delim
Hive表字段相关的元数据表
  • select * from columns_v2;
    表的字段信息
字段信息ID（对应SDS 表CD_ID）字段注释字段名字段类型字段顺序
CD_IDCOMMENTCOLUMN_NAMETYPE_NAMEINTEGER_IDX
1NULLcity_idstring6
1NULLend_user_idstring5
1NULLipstring4
1NULLrefererstring3
1NULLsession_idstring2
1NULLtrack_timestring0
1NULLurlstring1
2NULLcity_idstring6
2NULLend_user_idstring5
2NULLipstring4
2NULLrefererstring3
2NULLsession_idstring2
2NULLtrack_timestring0
2NULLurlstring1
Hive表分区相关的元数据表

主要涉及PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS

  • select * from partitions ;
    分区的基本信息
分区ID分区创建时间最后一次访问时间分区名分区存储ID表ID
PART_IDCREATE_TIMELAST_ACCESS_TIMEPART_NAMESD_IDTBL_ID
11506226696pt=2015-06-12212
  • select * from partition_keys;
    分区的字段信息
元数据表字段说明示例数据
TBL_ID表ID2
PKEY_COMMENT分区字段说明
PKEY_NAME分区字段名pt
PKEY_TYPE分区字段类型string
INTEGER_IDX分区字段顺序1
  • select * from partition_key_vals;
    该表存储分区字段值
元数据表字段说明示例数据
PART_ID分区ID2
PART_KEY_VAL分区字段值2015-06-12
INTEGER_IDX分区字段值顺序0
  • select * from partition_params;
    该表存储分区的属性信息。
元数据表字段说明示例数据
PART_ID分区ID2
PARAM_KEY分区属性名numFiles、numRows、rawDataSize、totalSize、transient_lastDdlTime
PARAM_VALUE分区属性值15、502195
其他不常用的元数据表
表明作用
DB_PRIVS数据库权限信息表。通过GRANT语句对数据库授权后，将会在这里存储。
IDXS索引表，存储Hive索引相关的元数据
INDEX_PARAMS索引相关的属性信息。
TAB_COL_STATS表字段的统计信息。使用ANALYZE语句对表字段分析后记录在这里。
TBL_COL_PRIVS表字段的授权信息
PART_PRIVS分区的授权信息
PART_COL_STATS分区字段的统计信息。
PART_COL_PRIVS分区字段的权限信息。
FUNCS用户注册的函数信息
FUNC_RU用户注册函数的资源信息

最后我们总结下他们之间的关系图：
这里写图片描述

爆发的~小宇宙
关注
  • 8
    点赞
  • 踩
  • 62
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
hive 表结构导出
05-19
支持hive 源数据、表结构导出
hive元数据信息管理总结
qq_32667911的博客
06-08 944
hive元数据表 关系总览 关键表总览 表名称及其业务 BUCKETING_COLS 存储bucket字段信息，通过SD_ID与其他表关联 CDS 表示该分区、表存储的字段信息。一个字段CD_ID，与SDS表关联 COLUMNS_V2 表示该分区、表存储的字段信息。存储字段信息，通过CD_ID与其他表关联 DATABASE_PARAMS 描述数据库的属性信息 DBS 存储hive的database信息 DB_PRIVS 描述数据库的权限信息 FUNCS 记录用户子集编写的函数信息，包括函数名、对应类名、
Hive-架构与设计
最新发布
wlphlj的专栏
02-10 1792
支持通过SQL对数据仓库中数据进行访问，比如提取、转化、加工、分析等支持将不同数据格式添加数据结构可以直接访问大数据存储系统中的文件，比如HDFS、HBase等Hive是一个基于Hadoop的数仓分析工具，将分布式系统中的数据映射成结构化数据。提供丰富的SQL查询方式对数仓中的数据进行访问。一般不会存储数据、只会保存元数据到Hive中。Hive根据元数据信息将查询语句转化成执行计划，此执行计划由stage组成的DAG图，调用Hadoop中的MapReduce运行执行计划得到对应结果。
Hive之深入了解元数据
weixin_45666566的博客
01-07 6019
元数据引言1、Hive 元数据2、Hive 元数据表2.1 Hive 库2.2 VERSION 表2.3 Hive数据库相关的元数据表2.3.1 DBS—数据库表2.3.2 DATABASE_PARAMS表—数据库参数表2.4 Hive数据表相关的元数据表2.4.1 TBLS表—数据表的元数据表2.4.2 TABLE_PARAMS表—数据表属性信息表2.4.3 TBL_PRIVS—授权表2.5 Hive文件存储信息相关的元数据表2.5.1 SDS表2.5.2 SD_PARAMS表2.5.3 SERDES表
Hive元数据信息对应MySQL数据库表
勇心在馨
02-01 490
一、VERSION（存储Hive版本的元数据表） 如果该表出现问题，根本进入不了Hive-Cli。 比如该表不存在，当启动Hive-Cli时候，就会报错”Table ‘hive.version’ doesn’t exist” 二、Hive数据库相关的元数据表（DBS、DATABASE_PARAMS） 1、DBS（存储Hive中所有数据库的基本信息） 2、DATABASE_PAR...
Hive 元数据表结构详解
weixin_34294649的博客
08-15 498
Hive 元数据表结构详解 2017年06月15日 09:49:31 阅读数：4116 原文地址：https://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663993556&idx=1&sn=0e5291bd63426d747f32a7fd05128caa&sce...
hive的元数据
Jackie 的博客
04-21 2166
 简介： hive是建立在hadoop之上的数据仓库，一般用于对大型数据集的读写和管理，存在hive里的数据实际上就是存在HDFS上，都是以文件的形式存在，不能进行读写操作，所以我们需要元数据或者说叫schem来对hdfs上的数据进行管理。那元数据表之间有没有什么关联呢？答案是肯定的。hive默认元数据表是存储在derby中的，但是derby是单session的，所以我们一般会...
Hive元数据信息表详解
菜鸟叔叔的博客
04-06 6082
hive元数据表的基本情况
【Hive】Hive MetaStore 3.1.x 元数据管理库表结构介绍及特色功能
m0_54252387的博客
07-20 2875
本文以hive metastore 3.1.1000中的库表结构进行分析Hive Metastore（HMS）是一项单独的服务，不是Hive的一部分，甚至不必位于同一集群上。 hive metastore 用于管理hive的元数据并提供服务。这里的元数据包括：数据库、表、表的模式、目录、分区、索引以及命名空间等。 为数据库创建的目录一般在hive数据仓库目录下。Hive metastore Service （HMS) 将Hive表、分区等的元数据存储在关系数据库中，并通过metastore服务API提供给客
hive什么是元数据？
weixin_44943389的博客
07-02 739
元数据通常存储在持久的存储系统中，如关系型数据库（如MySQL、PostgreSQL）或Hive的自定义元数据存储（如Derby）。存储格式（Storage Format）：Hive支持不同的存储格式，例如文本格式（Text）、序列文件格式（SequenceFile）、列式存储格式（ORC）等。表（Table）：每个表都有相应的元数据，包括表名称、列名称、列的数据类型、分区信息、表的存储格式、表的所有者等。数据库（Database）：元数据中包含有关数据库的定义，例如数据库名称、所有者、创建时间等。
hive仓库元数据管理系统
02-05
1.hive元数据信息的查看，包括表基本信息，数据库基本信息，字段信息，分区信息，索引信息等； 2.对hive元数据的检索，包括表、字段、数据库等内容的检索 3.元数据信息更新（目前只提供对库、表、字段的描述信息进行...
Mysql元数据如何生成Hive建表语句注释脚本详解
01-19
本文主要给大家介绍了关于Mysql元数据生成Hive建表语句注释脚本的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍： 最近在将数据从Mysql 等其他关系型数据库 抽取到Hive 表中时，需要同步...
关于hive元数据的错误
01-07
Exception in thread “main” java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp/hive/root/92f8b98...
批量导出hive表结构
11-27
通过shell脚本，批量把一个库下面的表结构全部导出，在开发环境执行过。
Hive大表的测试数据
07-31
Hive大表的测试数据
Hive小表的测试数据
07-31
Hive小表的测试数据
Hive元数据库操作
05-21
Hive运维中通常会用到操作元数据，这里提供了常用的sql语句
详解hbase与hive数据同步
08-29
主要介绍了详解hbase与hive数据同步的相关资料,需要的朋友可以参考下
hive元数据生成创建表语句
08-09
Hive是一种基于Hadoop的数据仓库基础架构，用于处理大规模数据集，并以SQL语言进行查询和分析。Hive中的元数据是指数据表的元信息，包括表的名称、列名、数据类型、分区等。当我们在Hive中创建一个数据表时，Hive会自动生成对应的元数据，同时也会生成创建表的SQL语句。 元数据生成创建表语句的过程大致如下： 1. 定义表结构：在Hive中创建表之前，需要定义表的结构，包括表名、列名以及每列的数据类型。例如，我们可以使用CREATE TABLE语句定义一个表的结构，并指定列名和数据类型。 2. 生成元数据：当我们执行CREATE TABLE语句后，Hive会解析该语句，并根据表结构生成对应的元数据。元数据包含了表的各种信息，如表名、列名、列的数据类型、列的分区等。 3. 生成创建表语句：Hive会根据生成的元数据，自动生成对应的创建表语句。创建表语句包括CREATE TABLE语句以及表的各种属性和选项。例如，如果我们创建了一个包括ID和Name两列的表，Hive会生成类似于以下的创建表语句： CREATE TABLE my_table ( ID INT, Name STRING ); 其中，my_table为表名，ID和Name为列名，INT和STRING为对应的数据类型。 总之，Hive的元数据生成创建表语句的过程包括定义表结构、生成元数据和生成创建表语句。通过这个过程，我们可以方便地创建表并管理表的元信息，从而方便地对大规模数据集进行查询和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值