Hive的元数据存储与元数据表

最新推荐文章于 2024-09-25 10:43:25 发布
最新推荐文章于 2024-09-25 10:43:25 发布
阅读量7.2k 收藏 33
点赞数 2
分类专栏： 数据处理层 数据查询 文章标签： hadoop hive mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/H_hello_world/article/details/123858087
版权

一、元数据(metadata)

  • 元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。一般会通过元数据资料库（Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。
  • 元数据包括表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等。
  • 元数据包含用Hive创建的database、table等的元信息。元数据存储在关系型数据库中。如Derby、MySQL等。
1.1、Metastore作用
  • 客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。
1.2、元数据的存储方式
  • 1、hive自带的derby数据库进行元数据的存储
  • 2、mysql数据库来进行hive元数据的存储
  • 补充：推荐使用Mysql进行存储。
1.3、三种方式存储区别

1、内置derby存储

  • 不同路径启动 hive，每一个 hive 拥有一套自己的元数据，无法共享
  • hive服务和metastore服务运行在同一个进程中，derby服务也运行在该进程中.内嵌模式使用的是内嵌的Derby数据库来存储元数据，也不需要额外起Metastore服务。
  • 在哪个目录下启动,就会在对应的目录下生成 derby.log 和 metastore.db,只有在此目录下再次启动才可以继续使用上次的元数据库。
  • 这个是默认的，配置简单，但是一次只能一个客户端连接，适用于用来实验，不适用于生产环境。

2、本地模式（Local）:本地安装mysql 替代derby存储元数据

  • 不再使用内嵌的Derby作为元数据的存储介质，而是使用其他数据库比如MySQL来存储元数据。hive服务和metastore服务运行在同一个进程中，mysql是单独的进程，可以同一台机器，也可以在远程机器上。
  • 这种方式是一个多用户的模式，运行多个用户client连接到一个数据库中。这种方式一般作为公司内部同时使用Hive。每一个用户必须要有对MySQL的访问权利，即每一个客户端使用者需要知道MySQL的用户名和密码才行。
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive_remote/warehouse</value>
</property>

<property>
  <name>hive.metastore.local</name>
  <value>true</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost/hive_remote?createDatabaseIfNotExist=true</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>password</value>
</property>
</configuration>

3、远程模式（Remote）: 远程安装mysql 替代derby存储元数据

  • Hive服务和metastore在不同的进程内，可能是不同的机器，该模式需要将hive.metastore.local设置为false，将hive.metastore.uris设置为metastore服务器URL
  • 远程元存储需要单独起metastore服务，然后每个客户端都在配置文件里配置连接到该metastore服务。将metadata作为一个单独的服务进行启动。各种客户端通过beeline来连接，连接之前无需知道数据库的密码
  • 仅连接远程的mysql并不能称之为“远程模式”，是否远程指的是metastore和hive服务是否在同一进程内
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive/warehouse</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://192.168.1.214:3306/hive_remote?createDatabaseIfNotExist=true</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>password</value>
</property>

<property>
  <name>hive.metastore.local</name>
  <value>false</value>
</property>

<property>
  <name>hive.metastore.uris</name>
  <value>thrift://192.168.1.188:9083</valu>
</property>

</configuration>

二、Hive中的元数据表

  • Hive元数据库中一些重要的表结构及用途，方便Impala、SparkSQL、Hive等组件访问元数据库的理解。
    1、存储Hive版本的元数据表(VERSION)
    该表比较简单，但很重要。
    在这里插入图片描述
    2、Hive数据库相关的元数据表(DBS、DATABASE_PARAMS)

DBS：该表存储Hive中所有数据库的基本信息，字段如下:
在这里插入图片描述
DATABASE_PARAMS：该表存储数据库的相关参数，在CREATE DATABASE时候用WITH
DBPROPERTIES(property_name=property_value, …)指定的参数。
在这里插入图片描述

3、Hive表和视图相关的元数据表

主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。
TBLS:该表中存储Hive表，视图，索引表的基本信息
在这里插入图片描述
TABLE_PARAMS:该表存储表/视图的属性信息
在这里插入图片描述
TBL_PRIVS：该表存储表/视图的授权信息
在这里插入图片描述

4、Hive文件存储信息相关的元数据表

主要涉及SDS、SD_PARAMS、SERDES、SERDE_PARAMS，由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。
SDS:
该表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。TBLS表中的SD_ID与该表关联，可以获取Hive表的存储信息。
在这里插入图片描述
SD_PARAMS: 该表存储Hive存储的属性信息，在创建表时候使用STORED BY‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。
在这里插入图片描述
SERDES:该表存储序列化使用的类信息
在这里插入图片描述
SERDE_PARAMS:该表存储序列化的一些属性、格式信息，比如:行、列分隔符
在这里插入图片描述

5、Hive表字段相关的元数据表

主要涉及COLUMNS_V2
COLUMNS_V2：该表存储表对应的字段信息
在这里插入图片描述

6、Hive表分分区相关的元数据表

主要涉及PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS
PARTITIONS:该表存储表分区的基本信息
在这里插入图片描述
PARTITION_KEYS:该表存储分区的字段信息
在这里插入图片描述
PARTITION_KEY_VALS:该表存储分区字段值
在这里插入图片描述
PARTITION_PARAMS:该表存储分区的属性信息
在这里插入图片描述

7、其他不常用的元数据表

DB_PRIVS：数据库权限信息表。通过GRANT语句对数据库授权后，将会在这里存储。
IDXS：索引表，存储Hive索引相关的元数据
INDEX_PARAMS：索引相关的属性信息
TBL_COL_STATS：表字段的统计信息。使用ANALYZE语句对表字段分析后记录在这里
TBL_COL_PRIVS：表字段的授权信息
PART_PRIVS：分区的授权信息
PART_COL_PRIVS：分区字段的权限信息
PART_COL_STATS：分区字段的统计信息
FUNCS：用户注册的函数信息
FUNC_RU：用户注册函数的资源信息

新-农
关注
专栏目录
【Hive】Hive MetaStore 3.1.x 元数据管理库表结构介绍及特色功能
m0_54252387的博客
07-20 3681
本文以hive metastore 3.1.1000中的库表结构进行分析Hive Metastore（HMS）是一项单独的服务，不是Hive的一部分，甚至不必位于同一集群上。 hive metastore 用于管理hive的元数据并提供服务。这里的元数据包括：数据库、表、表的模式、目录、分区、索引以及命名空间等。 为数据库创建的目录一般在hive数据仓库目录下。Hive metastore Service （HMS) 将Hive表、分区等的元数据存储在关系数据库中，并通过metastore服务API提供给客
数据仓库工具 hive的入门（八）元数据管理与存储
weixin_43904810的博客
06-06 965
**Hive命令实战操作之元数据管理与存储 提示：本文章内容取自来源： 拉勾教育大数据高薪训练营 文章目录前言HQL操作之--DQL命令第 1 节 Metastore1.1 metastore三种配置方式第 2 节 HiveServer2第 3 节 HCatalog第 4 节 数据存储格式 前言 提示：本文章对于初学者准备，希望对大家有所帮助。如果有什么建议和疑问，请留言给我，我会不断完成完善。 HQL操作之–DQL命令 第 1 节 Metastore Metadata即元数据。元数据包含用Hive
Hive元数据表结构详解
热门推荐
06-14 1万+
概述 我们知道Apache Hive 是构建在Apache Hadoop之上的数据仓库。有助于对大型的数据集进行读、写和管理。这也是官网介绍的第一句话，虽然简短但是却能提炼出很多东西，大家可以去细细品味下。该篇博客不做过多讲述。本文我们介绍Hive的原数据表，他默认是存储再derby中的，但是我们一般会修改会mysql。作者使用的也是mysql进行的管理。 Hive元数据表结构 hive-...
大数据Hive组件安装-元数据库联动Mysql
最新发布
轻舟已过万重山
09-25 911
进入Hadoop/share/hadoop/common/lib目录下，将新版本的guava.jar复制到hive/lib目录下。解决：将hive目录下的低版本guava.jar更换成Hadoop下的高版本guava.jar即可。进入/export/server/apache-hive-3.1.2-bin目录下。进入/export/server/apache-hive-3.1.2-bin目录下。进入hive/lib目录下删除掉旧版本的guava.jar。复制到hive的lib目录下。
Hive元数据库详解
11号车厢
08-12 1692
文章目录1、概述2、启用mysql管理3、通过mysql查看basic01数据库4、version（存储Hive版本的元数据表）5、Hive数据库相关的元数据表（DBS、DATABASE_PARAMS）6、Hive表和视图相关的元数据表7、Hive文件存储信息相关的元数据表8、Hive表字段相关的元数据表9、Hive表分区相关的元数据表10、其他不常用的元数据表11、最后我们总结下他们之间的关系图...
hive元数据库
qq_45755385的博客
02-20 436
【代码】hive元数据库。
Hive metastore 使用达梦数据库存储元数据
05-10
然而，为了适应更复杂的业务需求和更高的性能，我们可以选择将Hive元数据存储在达梦数据库中。本文将详细介绍如何配置Hive metastore以使用达梦数据库。 首先，要在达梦数据库中创建metastore所需的用户和表空间。...
Hive元数据信息表详解
菜鸟叔叔的博客
04-06 6526
hive元数据表的基本情况
【Hive实战】Hive元数据存储库数据增多的分析
coding and writing
05-09 723
对超过2千万数据量的表需要进行分析
通过hive元数据表获取hive分区表的相关信息
耀哥的博客
10-18 2093
通过hive元数据表获取hive分区表的元数据信息 通过hive元数据表获取hive分区表的元数据信息 项目中需要获取hive所有分区表的分区信息并显示到页面 如图 方案：通过JDBC连接hive源数据库，sql语句实现 编写sql语句： SELECT main.*,b.numRows,b.totalSize FROM ( SELECT main.TBL_ID AS metaObjectId ,main.TBL_NAME AS tabName ,b.PART_ID AS partId ,b.
hive元数据信息对应的MySQL数据库表
chengbai121444的博客
03-12 3340
目录 概述 一、存储hive版本的原数据表（VERSION） 二、元数据表（DBS、DATABASE_PARAMS） 三、视图相关的元数据表（TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联） 四、hive文件存储信息相关的元数据表（SDS、SD_PARAMS、SERDES、SERDE_PARAMS） 五、表字段相关的元数据表（COLUMNS_V2）...
hive什么是元数据？
weixin_44943389的博客
07-02 1021
元数据通常存储在持久的存储系统中，如关系型数据库（如MySQL、PostgreSQL）或Hive的自定义元数据存储（如Derby）。存储格式（Storage Format）：Hive支持不同的存储格式，例如文本格式（Text）、序列文件格式（SequenceFile）、列式存储格式（ORC）等。表（Table）：每个表都有相应的元数据，包括表名称、列名称、列的数据类型、分区信息、表的存储格式、表的所有者等。数据库（Database）：元数据中包含有关数据库的定义，例如数据库名称、所有者、创建时间等。
Hive元数据表
persuit的专栏
05-22 664
本文是笔者初步整理的Hive元数据表，有不准确的地方请轻拍，后续我会补充. 1. Hive 0.11 元数据表汇总 线上Hive 0.11 metastore包括下述39个表，主要分为以下几类：       Database相关     Table相关     数据存储相关SDS     COLUMN相关     SERDE相关(序列化)    Partition相关(分区)
Hive的元数据信息
sjyttkl的专栏
04-21 1637
Hive将表中的元数据信息存储在数据库中，如derby(自带的)、Mysql(实际工作中配置的)。通过Mysql进行示例说明:Hive数据仓库中： MySql数据库中存储的相应元数据信息: Navicate（远程连接的MySql）对应的元数据信息: Hive中创建的表在hive中可以看到正常的数据，但是在mysql中只能查到hive中表的元数据信息。...
hive中的元数据管理
qq_42456324的博客
06-06 1343
1、存储Hive版本的元数据表(VERSION)2、Hive数据库相关的元数据表(DBS、DATABASE_PARAMS)DBS：该表存储Hive中所有数据库的基本信息，字段如下:DATABASE_PARAMS：该表存储数据库的相关参数，在CREATE DATABASE时候用WITH DBPROPERTIES(property_name=property_value, …)指定的参数：3、Hive表和视图相关的元数据表主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联
hive的metadata中的表用途说明
weixin_34326558的博客
04-24 443
在本例中将Hive的metadata存储在mysql中；透彻理解每个表的用途，以及每个表之间是通过什么进行关联，对于用hive用着很大的帮助；Hive的版本不同，表的个数也有可能不同；Hive 1.1是36张表，1.2是35张表；要重点理解的表：VERSIONDBSCDSTBLSCOLUMNS_V2PARTITIONSP...
Hive元数据详解
sdfghjkkl123的博客
06-14 499
元数据（Metadata）是关于数据的数据。数据库的信息表的结构（表名、列名、数据类型等）表的分区信息数据文件的位置存储格式和序列化/反序列化信息元数据在Hive中的作用类似于关系型数据库中的系统表，用于管理和优化数据查询。
hive metastore元数据库和表事务查询
HomieJ的博客
06-18 148
1、登录存储hive元数据的MYSQL。2、使用metastore库。
Hive体系结构（三）元数据库与基本操作
Lnho的专栏
05-15 6377
Hive体系结构（一）架构与基本组成 Hive体系结构（二）Hive的执行原理、与关系型数据库的比较 Hive体系结构（三）元数据库与基本操作 1. Hive元数据库Hive将元数据存储在RDBMS 中，一般常用的有MYSQL和DERBY。 hive元数据对应的表约有20个，其中和表结构信息有关的有9张，其余的10多张或为空，或只有简单的几条记录，以下是部分主要表的简要说明。 表名
Apache Atlas 0.8.4安装与Hive、HBase元数据集成指南
通过Atlas，可以方便地将Hive表和HBase表的元数据导入到系统中，以便进行进一步的管理和分析。此外，文档还提供了Atlas的一些常用配置选项，如调整内存设置和配置用户密码，以优化系统性能和安全性。 最后，用户...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值