Hive元数据在MySQL的存储逻辑及关系

最新推荐文章于 2024-11-29 15:55:10 发布

水墨风漾

最新推荐文章于 2024-11-29 15:55:10 发布

阅读量686

点赞数

分类专栏： Hive

Hive 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

本文深入探讨了Hive元数据的存储方式，特别是在MySQL数据库中的组织结构。文章详细介绍了核心元数据表，如version、DBS、TBLS、SDS等，以及它们之间的关联关系，揭示了Hive如何管理和维护其元数据。

摘要由CSDN通过智能技术生成

在大数据中，很多情况下是将hive的元数据存放在mysql数据库中，通过hive配置的连接字符串：

   <property>

           <name>javax.jdo.option.ConnectionURL</name>

           <value>jdbc:mysql://localhost:3306/hive3?createDatabaseIfNotExist=true</value>

   </property>

能确认连接的mysql的哪个库。

现在分析下常用元数据中表有什么关联关系
1、hive版本的元数据表(version)
在这里插入图片描述
如果该表出现问题，根本进入不了Hive-Cli。

比如该表不存在，当启动Hive-Cli时候，就会报错”Table ‘hive.version’ doesn’t exist”。
2、hive数据库相关元数据表(DBS、DATABASE_PARAMS)

DBS：hive中所有数据库的基本信息
在这里插入图片描述
DATABASE_PARAMS：

空
3、hive 表和视图相关的元数据表

TBLS 存储 hive 表、视图、索引表的基本信息
在这里插入图片描述

TABLE_PARAMS 存储表、视图的属性信息

TBL_PRIVS

空

4、Hive 文件存储信息相关的元数据SDS、SD_PARAMS、SERDES、SERDE_PARAMS

SDS 存储文件存储的基本信息：
在这里插入图片描述
SD_PARAMS 空
SERDES

从以上这些表中，可以看到这些表由几个关键字作为连接的：

DB_ID 、TBL_ID、SD_ID、CD_ID、SERDE_ID 、PART_ID
各表关系图【主键】：
在这里插入图片描述