hive元数据

最新推荐文章于 2024-08-16 06:11:35 发布
最新推荐文章于 2024-08-16 06:11:35 发布
阅读量1.2k 收藏
点赞数
分类专栏： hadoop hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woloqun/article/details/81869970
版权
hadoop 同时被 2 个专栏收录
21 篇文章 0 订阅
订阅专栏
hive
12 篇文章 0 订阅
订阅专栏

一、元数据表描述

mysql元数据库hive中的表：

表名作用
BUCKETING_COLS存储bucket字段信息，通过SD_ID与其他表关联
CDS一个字段CD_ID，与SDS表关联
COLUMNS_V2存储字段信息，通过CD_ID与其他表关联
DATABASE_PARAMS数据库的属性信息
DBS存储hive的database信息
DELETEME1410257703262删除的表信息
FUNCS用户注册的函数信息
FUNC_RU用户注册函数的资源信息
GLOBAL_PRIVS全局变量，与表无关
IDXS索引
INDEX_PARAMS索引相关的属性信息。
PARTITIONS分区记录，SD_ID, TBL_ID关联
PARTITION_KEYS存储分区字段，TBL_ID关联
PARTITION_KEY_VALS分区的值，通过PART_ID关联。与PARTITION_KEYS共用同一个字段INTEGER_IDX来标示不同的分区字段。
PARTITION_PARAMS存储某分区相关信息，包括文件数，文件大小，记录条数等。通过PART_ID关联
PART_COL_PRIVS分区字段的权限信息
PART_COL_STATS分区字段的统计信息
PART_PRIVS分区的授权信息
ROLES角色表，和GLOBAL_PRIVS配合，与表无关
SDS存储输入输出format等信息，包括表的format和分区的format。关联字段CD_ID,SERDE_ID
SD_PARAMS存储输入输出format相关属性信息
SEQUENCE_TABLE存储sqeuence相关信息，与表无关
SERDES存储序列化反序列化使用的类
SERDE_PARAMS序列化反序列化相关信息，通过SERDE_ID关联
SKEWED_COL_NAMES偏移列名
SKEWED_COL_VALUE_LOC_MAP偏移列值与本地文件的映射关系
SKEWED_STRING_LIST偏移的字符串列表
SKEWED_STRING_LIST_VALUES偏移字符串列表值
SKEWED_VALUES偏移值
SORT_COLS排序字段，通过SD_ID关联
TABLE_PARAMS表相关信息，是否外部表，通过TBL_ID关联
TAB_COL_STATS表字段的统计信息。使用ANALYZE语句对表字段分析后记录在这里
TBLS存储表信息，关联字段DB_ID,SD_ID,
TBL_COL_PRIVS表列的权限信息
TBL_PRIVS表赋权限相关信息，通过TBL_ID关联
VERSION版本
VERSION_copy版本，通过VER_ID关联
DB_PRIVS数据库权限信息表。通过GRANT语句对数据库授权后，将会在这里存储。
  

　　　　

这里补充介绍hive的一个工具脚本metatool。如果需要大量修改元数据库中的相关记录，可以具体查看metatool脚本的使用方法。
　　比如说，对一个HDFS做HA的时候，如果之前hdfs完整路径是hdfs://m000，做完HA之后把dfs.nameservices设置为my-cluster之后，hdfs的访问路径就变成了hdfs://my-cluster，此时就需要对hive元数据库中所有记录作更新，这时可以参考下面的操作，
使用metatool脚本，先是新路径，然后是旧路径
/usr/local/bigdata/hive/bin/metatool -updateLocation hdfs://my-cluster hdfs://m000

 

二、重要元数据表具体相关字段

2.1 存储Hive版本的元数据表（VERSION）

VER_IDSCHEMA_VERSIONVERSION_COMMENT
ID主键Hive版本版本说明
10.13.0Set by MetaStore

如果该表出现问题，根本进入不了Hive-Cli。比如该表不存在，当启动Hive-Cli时候，就会报错”Table ‘hive.version’ doesn’t exist”。

2.2 Hive数据库相关的元数据表（DBS、DATABASE_PARAMS）

DBS

该表存储Hive中所有数据库的基本信息，字段如下：

元数据表字段说明示例数据
DB_ID数据库ID2
DESC数据库描述测试库
DB_LOCATION_URI数据库HDFS路径hdfs://namenode/user/hive/warehouse/lxw1234.db
NAME数据库名lxw1234
OWNER_NAME数据库所有者用户名lxw1234
OWNER_TYPE所有者角色USER

 

DATABASE_PARAMS

该表存储数据库的相关参数，在CREATE DATABASE时候用

WITH DBPROPERTIES (property_name=property_value, …)指定的参数。

元数据表字段说明示例数据
DB_ID数据库ID2
PARAM_KEY参数名createdby
PARAM_VALUE参数值lxw1234

DBS和DATABASE_PARAMS这两张表通过DB_ID字段关联。

2.3 Hive表和视图相关的元数据表

主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。

TBLS

该表中存储Hive表、视图、索引表的基本信息。

元数据表字段说明示例数据
TBL_ID表ID1
CREATE_TIME创建时间1436317071
DB_ID数据库ID2，对应DBS中的DB_ID
LAST_ACCESS_TIME上次访问时间1436317071
OWNER所有者liuxiaowen
RETENTION保留字段0
SD_ID序列化配置信息86，对应SDS表中的SD_ID
TBL_NAME表名lxw1234
TBL_TYPE表类型MANAGED_TABLE、EXTERNAL_TABLE、INDEX_TABLE、VIRTUAL_VIEW
VIEW_EXPANDED_TEXT视图的详细HQL语句select `lxw1234`.`pt`, `lxw1234`.`pcid` from `liuxiaowen`.`lxw1234`
VIEW_ORIGINAL_TEXT视图的原始HQL语句select * from lxw1234

 

TABLE_PARAMS

该表存储表/视图的属性信息。

元数据表字段说明示例数据
TBL_ID表ID1
PARAM_KEY属性名totalSize、numRows、EXTERNAL
PARAM_VALUE属性值970107336、21231028、TRUE

 

  • TBL_PRIVS

该表存储表/视图的授权信息

元数据表字段说明示例数据
TBL_GRANT_ID授权ID1
CREATE_TIME授权时间1436320455
GRANT_OPTION 0
GRANTOR授权执行用户liuxiaowen
GRANTOR_TYPE授权者类型USER
PRINCIPAL_NAME被授权用户username
PRINCIPAL_TYPE被授权用户类型USER
TBL_PRIV权限Select、Alter
TBL_ID表ID22，对应TBLS表中的TBL_ID

 

2.4 Hive文件存储信息相关的元数据表

主要涉及SDS、SD_PARAMS、SERDES、SERDE_PARAMS

由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。

SDS

该表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。

TBLS表中的SD_ID与该表关联，可以获取Hive表的存储信息。

元数据表字段说明示例数据
SD_ID存储信息ID1
CD_ID字段信息ID21，对应CDS表
INPUT_FORMAT文件输入格式org.apache.hadoop.mapred.TextInputFormat
IS_COMPRESSED是否压缩0
IS_STOREDASSUBDIRECTORIES是否以子目录存储0
LOCATIONHDFS路径hdfs://namenode/hivedata/warehouse/ut.db/t_lxw
NUM_BUCKETS分桶数量5
OUTPUT_FORMAT文件输出格式org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
SERDE_ID序列化类ID3，对应SERDES表

 

SD_PARAMS

该表存储Hive存储的属性信息，在创建表时候使用

STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。

元数据表字段说明示例数据
SD_ID存储配置ID1
PARAM_KEY存储属性名 
PARAM_VALUE存储属性值 

 

SERDES

该表存储序列化使用的类信息

元数据表字段说明示例数据
SERDE_ID序列化类配置ID1
NAME序列化类别名 
SLIB序列化类org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

 

SERDE_PARAMS

该表存储序列化的一些属性、格式信息,比如：行、列分隔符

元数据表字段说明示例数据
SERDE_ID序列化类配置ID1
PARAM_KEY属性名field.delim
PARAM_VALUE属性值,

 

2.5 Hive表字段相关的元数据表

主要涉及COLUMNS_V2

COLUMNS_V2

该表存储表对应的字段信息。

元数据表字段说明示例数据
CD_ID字段信息ID1
COMMENT字段注释这是注解
COLUMN_NAME字段名pt
TYPE_NAME字段类型string
INTEGER_IDX字段顺序2

 

2.6 Hive表分区相关的元数据表

主要涉及PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS

PARTITIONS

该表存储表分区的基本信息。

元数据表字段说明示例数据
PART_ID分区ID1
CREATE_TIME分区创建时间 
LAST_ACCESS_TIME最后一次访问时间 
PART_NAME分区名pt=2015-06-12
SD_ID分区存储ID21
TBL_ID表ID2

 

PARTITION_KEYS

该表存储分区的字段信息。

元数据表字段说明示例数据
TBL_ID表ID2
PKEY_COMMENT分区字段说明 
PKEY_NAME分区字段名pt
PKEY_TYPE分区字段类型string
INTEGER_IDX分区字段顺序1

 

PARTITION_KEY_VALS

该表存储分区字段值。

元数据表字段说明示例数据
PART_ID分区ID2
PART_KEY_VAL分区字段值2015-06-12
INTEGER_IDX分区字段值顺序0

 

PARTITION_PARAMS

该表存储分区的属性信息。

元数据表字段说明示例数据
PART_ID分区ID2
PARAM_KEY分区属性名numFiles、numRows
PARAM_VALUE分区属性值15、502195

 

三、对元数据的相关查询

3.1 查询某表的分区

　 　在Spark-sql查询hive表时，会由于元数据中文件与hdfs文件不一致而出现TreeNodeException的异常。比如说，在hive 中show partitions时有分区pt=20160601，但是对应HDFS路径下并没有这个子文件夹时，在Spark-sql中就会出现该异 常。这时如果需要查询某表的分区，就可以使用如下语句

SELECT p.* from PARTITIONS p

JOIN TBLS t

ON t.TBL_ID=p.TBL_ID

WHERE t.TBL_NAME='table'

AND PART_NAME like '%pt=20160601%';

123456

3.2 查询指定库中stored as textfile类型的所有表名

select 

  d.NAME, 

  t.TBL_NAME,

  s.INPUT_FORMAT,

  s.OUTPUT_FORMAT

from TBLS t

join DBS d

join SDS s

where t.DB_ID = d.DB_ID

and t.SD_ID = s.SD_ID

and d.NAME='test'

and s.INPUT_FORMAT like '%TextInputFormat%';123456789101112

3.3 查询指定库中的分区表

select

  db.NAME,

  tb.TBL_NAME,

  pk.PKEY_NAME 

from TBLS tb

join DBS db

join PARTITION_KEYS pk

where tb.DB_ID = db.DB_ID

and tb.TBL_ID=pk.TBL_ID

and db.NAME='test';12345678910

3.4 查询指定库的非分区表

select

  db.NAME,

  tb.TBL_NAME

from TBLS tb

join DBS db

where tb.DB_ID = db.DB_ID

and db.NAME='test'

and tb.TBL_ID not in (

  select distinct TBL_ID from PARTITION_KEYS

) ;12345678910

3.5 查询指定库中某种存储类型的分区表

select

  db.NAME,

  tb.TBL_NAME,

  pk.PKEY_NAME,

  s.INPUT_FORMAT,

  s.OUTPUT_FORMAT

from TBLS tb

join DBS db

join PARTITION_KEYS pk

join SDS s

where tb.DB_ID = db.DB_ID

and tb.TBL_ID=pk.TBL_ID

and tb.SD_ID = s.SD_ID

and db.NAME='test'

and s.INPUT_FORMAT like '%TextInputFormat%';123456789101112131415

3.6 查询指定库中某种存储类型的非分区表

select

  db.NAME,

  tb.TBL_NAME,

  s.INPUT_FORMAT,

  s.OUTPUT_FORMAT

from TBLS tb

join DBS db

join SDS s

where tb.DB_ID = db.DB_ID

and tb.SD_ID = s.SD_ID

and db.NAME='test'

and s.INPUT_FORMAT like '%TextInputFormat%'

and tb.TBL_ID not in (select distinct TBL_ID from PARTITION_KEYS);

woloqun
关注
专栏目录
Hive 元数据服务 MetaStore
SmartSi
04-26 7331
1. 概念 MetaSore 是 Hive 元数据存储的地方。Hive 数据库、表、函数等的定义都存储在 MetaStore 中。根据系统配置方式，统计信息和授权记录也可以存储在这。Hive 或者其他执行引擎在运行时可以使用这些数据来确定如何解析，授权以及有效执行用户的查询。MetaStore 分为两个部分：服务和后台数据的存储。 2. 配置参数 这里只会展示与 MetaStore 相关的配置参数，与 MetaSote 不相关的配置参数可以在这查阅。 配置参数 参数说明 hive.metas
java获取hive元数据信息_Hive SQL 元数据血缘管理
weixin_31977649的博客
03-02 1298
模板概述基于 Antlr4 编译 hive 相关 xxx.g 文件生成对应的模板，如 hive 源码中：image.png编译完成生成对应 *.java 文件，Antlr4 详见：Antlr4解析流程Parserimage.png重点：获取SELECT操作中的表和列的相关操作。其他操作这判断到字段级别。实现思路：对AST深度优先遍历，遇到操作的token则判断当前的操作，遇到子句则压栈当前处理，处...
HIve：元数据表结构
weixin_44591209的博客
04-08 204
Hive中的元数据信息默认是存储在derby中的，但是derby是单session的，一般都会修改成mysql。 在mysql中的metastore库中存放着hive所有元数据信息的表（如下图）。本文将分别介绍他们各自的用途。 VERSION表 存储Hive版本的元数据表，如果该表出现问题，根本进入不了Hive-Cli，会报错”Table ‘hive.version’ doesn’t e...
Hive元数据解析
小桥
12-17 1119
本文是笔者初步整理的Hive元数据表，有不准确的地方请轻拍，后续我会补充. 1. Hive 0.11 元数据表汇总 线上Hive 0.11 metastore包括下述39个表，主要分为以下几类 ：       Database相关     Table相关     数据存储相关SDS     COLUMN相关     SERDE相关(序列化)  
Hive 元数据更新
最新发布
weixin_36499860的博客
08-16 53
Hive 元数据更新在大数据领域中，Hive 是一个常用的数据仓库工具，用于管理和查询大规模数据集。在使用 Hive 进行数据分析和处理时，经常需要更新元数据以确保数据的准确性和一致性。本文将介绍如何在 Hive 中进行元数据更新的相关操作。什么是 Hive 元数据在 Hive 中，元数据是指描述数据的数据，包括表的结构、...
hive什么是元数据？
weixin_44943389的博客
07-02 1003
元数据通常存储在持久的存储系统中，如关系型数据库（如MySQL、PostgreSQL）或Hive的自定义元数据存储（如Derby）。存储格式（Storage Format）：Hive支持不同的存储格式，例如文本格式（Text）、序列文件格式（SequenceFile）、列式存储格式（ORC）等。表（Table）：每个表都有相应的元数据，包括表名称、列名称、列的数据类型、分区信息、表的存储格式、表的所有者等。数据库（Database）：元数据中包含有关数据库的定义，例如数据库名称、所有者、创建时间等。
Hive 元数据
m0_73577749的博客
05-23 820
元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。在建表的时候，用户还需 要为表指定列，用户在指定表的列的同时也会指定自定义的 SerDe，元数据包括表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等。删除该表并不会删除掉这 份数据，不过描述表的元数据信息会被删除掉。在删除表的时候，内部表的元数据和数据会被一起删除，而外 部表只删除元数据，不删除数据。
hive元数据生成建表语句
01-26
本资源“hive元数据生成建表语句”主要关注如何从已有的Hive元数据中自动生成创建表的SQL语句，以便于理解和重现现有数据表的结构。 首先，理解Hive元数据： 1. **数据库**：Hive支持多数据库的概念，每个数据库...
Hive metastore 使用达梦数据库存储元数据
05-10
通常，Hive元数据默认存储在MySQL或Derby等关系型数据库中。然而，为了适应更复杂的业务需求和更高的性能，我们可以选择将Hive元数据存储在达梦数据库中。本文将详细介绍如何配置Hive metastore以使用达梦数据库。 ...
通过hive元数据表获取hive分区表的相关信息
耀哥的博客
10-18 2072
通过hive元数据表获取hive分区表的元数据信息 通过hive元数据表获取hive分区表的元数据信息 项目中需要获取hive所有分区表的分区信息并显示到页面 如图 方案：通过JDBC连接hive源数据库，sql语句实现 编写sql语句： SELECT main.*,b.numRows,b.totalSize FROM ( SELECT main.TBL_ID AS metaObjectId ,main.TBL_NAME AS tabName ,b.PART_ID AS partId ,b.
Hive 元数据表结构详解
weixin_34294649的博客
08-15 524
Hive 元数据表结构详解 2017年06月15日 09:49:31 阅读数：4116 原文地址：https://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663993556&idx=1&sn=0e5291bd63426d747f32a7fd05128caa&sce...
hive的元数据
Jackie 的博客
04-21 2424
 简介： hive是建立在hadoop之上的数据仓库，一般用于对大型数据集的读写和管理，存在hive里的数据实际上就是存在HDFS上，都是以文件的形式存在，不能进行读写操作，所以我们需要元数据或者说叫schem来对hdfs上的数据进行管理。那元数据表之间有没有什么关联呢？答案是肯定的。hive默认元数据表是存储在derby中的，但是derby是单session的，所以我们一般会...
Hive元数据（若泽大数据）
zhikanjiani的博客
07-03 211
你真的了解 Hive 的元数据吗？ hive元数据（若泽大数据）
hive 元数据是什么
蒋志伟
01-31 882
管理hive的数据，所有的表名，库名，都是存储在元数据中的
Hive学习之路 （三）Hive元数据信息对应MySQL数据库表
weixin_33946020的博客
04-03 421
概述 Hive 的元数据信息通常存储在关系型数据库中，常用MySQL数据库作为元数据库管理。上一篇hive的安装也是将元数据信息存放在MySQL数据库中。 Hive的元数据信息在MySQL数据中有57张表 一、存储Hive版本的元数据表（VERSION）  VERSION   -- 查询版本信息 该表比较简单，但很重要。 VER_ID SCHEMA_VERSION...
Hive 之元数据管理
ly13607255628的博客
10-16 976
1、Metastore 在Hive的具体使用中，首先面临的问题便是如何定义表结构信息，跟结构化的数据映射成功。所谓的映射指的是一种对应关系。在Hive中需要描述清楚表跟文件之间的映射关系、列和字段之间的关系等等信息。这些描述映射关系的数据的称之为Hive的元数据。该数据十分重要，因为只有通过查询它才可以确定用户编写sql和最终操作文件之间的关系。 Metadata即元数据。元数据包含用Hive创建的database、table、表的字段等元信息。元数据存储在关系型数据库中。如hive内置的Derby、第三方
数据仓库工具 hive的入门（八）元数据管理与存储
weixin_43904810的博客
06-06 933
**Hive命令实战操作之元数据管理与存储 提示：本文章内容取自来源： 拉勾教育大数据高薪训练营 文章目录前言HQL操作之--DQL命令第 1 节 Metastore1.1 metastore三种配置方式第 2 节 HiveServer2第 3 节 HCatalog第 4 节 数据存储格式 前言 提示：本文章对于初学者准备，希望对大家有所帮助。如果有什么建议和疑问，请留言给我，我会不断完成完善。 HQL操作之–DQL命令 第 1 节 Metastore Metadata即元数据。元数据包含用Hive
深入了解Hive元数据管理系统：功能全面解析
本系统针对Hive元数据进行一系列的管理操作，包括但不限于查看、检索、更新、预览、导出、删除、SQL操作以及与调度系统的集成等。 1. 元数据信息查看：用户能够查看Hive中表、数据库、字段、分区和索引等基本信息。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值