【Hive】Hive元数据信息表详解

最新推荐文章于 2024-11-29 15:55:10 发布
最新推荐文章于 2024-11-29 15:55:10 发布
阅读量1.9k 收藏
点赞数 1
分类专栏： 【数据中台】 文章标签： hive hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_54252387/article/details/125528206
版权
本文详细解析了Hive的元数据信息，包括Hive版本的元数据表、Hive数据库相关表、表和视图元数据、文件存储信息、字段和分区元数据以及权限信息。内容覆盖了从DBS到PARTITION_COL_PRIVS等多个关键表的作用和关联。
摘要由CSDN通过智能技术生成

1、存储Hive版本的元数据表(VERSION)

图片

2、Hive数据库相关的元数据表(DBS、DATABASE_PARAMS)

DBS：该表存储Hive中所有数据库的基本信息

字段如下:

图片

DATABASE_PARAMS：该表存储数据库的相关参数，在CREATE DATABASE时候用WITH DBPROPERTIES(property_name=property_value, …)指定的参数。

图片

DBS和DATABASE_PARAMS这两张表通过DB_ID字段关联。

3、Hive表和视图相关的元数据表

主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。

TBLS:该表中存储Hive表，视图，索引表的基本信息

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【大数据Hive】hive 表数据优化使用详解
congge_study的博客
10-29 7260
hive表优化策略详解
hive元数据表详解
qq_43227570的博客
05-14 411
我的hive元数据是放在mysql下的 ** 数据库相关的元数据表 **（DBS、DATABASE_PARAMS） DBS:该表存储Hive中所有数据库的基本信息 DATABASE_PARAMS:该表存储数据库的相关自定义描述信息 hive数据表的元数据表（TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联） TBLS：表的相关信息，如表的拥有者、创建时间 ...
Hive元数据信息表详解
菜鸟叔叔的博客
04-06 6645
hive元数据表的基本情况
Hive 元数据表结构详解
weixin_34294649的博客
08-15 549
Hive 元数据表结构详解 2017年06月15日 09:49:31 阅读数：4116 原文地址：https://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663993556&idx=1&sn=0e5291bd63426d747f32a7fd05128caa&sce...
Hive元数据表解析
最新发布
chanyue123的博客
11-29 1546
讲解hive 存储在mysql中的元数据表
Hive的元数据表结构详解（转自lxw1234）
wangshuxing的专栏
03-15 427
本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。 文章最后面，会以一个示例来全面了解一下，Hive的元数据是怎么生成和存储的。 13.1 存储Hive版本的元数据表（VERSION） 该表比较简单，但很重要。 VER_ID SCHEMA_VERSION VERSION_COMMENT ID主键 Hive版本 版本说明 1 0.13.0...
hive元数据信息表
cxy1991xm的博客
06-09 1192
一、hive表与视图相关的元数据表 有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。每张表只有一个TBL_ID和CD_ID 1、TBLS 该表中存储Hive表、视图、索引表的基本信息。 元数据表字段 说明 示例数据 TBL_ID 表ID 1 CREATE_TIME 创建时间 1436
Hive元数据表结构详解
热门推荐
06-14 1万+
概述 我们知道Apache Hive 是构建在Apache Hadoop之上的数据仓库。有助于对大型的数据集进行读、写和管理。这也是官网介绍的第一句话，虽然简短但是却能提炼出很多东西，大家可以去细细品味下。该篇博客不做过多讲述。本文我们介绍Hive的原数据表，他默认是存储再derby中的，但是我们一般会修改会mysql。作者使用的也是mysql进行的管理。 Hive元数据表结构 hive-...
Hive metastore 使用达梦数据库存储元数据
05-10
通常，Hive元数据默认存储在MySQL或Derby等关系型数据库中。然而，为了适应更复杂的业务需求和更高的性能，我们可以选择将Hive元数据存储在达梦数据库中。本文将详细介绍如何配置Hive metastore以使用达梦数据库。 ...
Mysql元数据如何生成Hive建表语句注释脚本详解
09-09
MySQL元数据生成Hive建表语句注释脚本详解 在大数据处理场景中，经常需要将数据从传统的关系型数据库（如MySQL）迁移至分布式数据仓库（如Hive）。在这个过程中，保持数据表结构和注释的一致性非常重要，因为注释有...
Hive元数据表
persuit的专栏
05-22 681
本文是笔者初步整理的Hive元数据表，有不准确的地方请轻拍，后续我会补充. 1. Hive 0.11 元数据表汇总 线上Hive 0.11 metastore包括下述39个表，主要分为以下几类：       Database相关     Table相关     数据存储相关SDS     COLUMN相关     SERDE相关(序列化)    Partition相关(分区)
Hive学习之路 （三）Hive元数据信息对应MySQL数据库表
weixin_33946020的博客
04-03 437
概述 Hive 的元数据信息通常存储在关系型数据库中，常用MySQL数据库作为元数据库管理。上一篇hive的安装也是将元数据信息存放在MySQL数据库中。 Hive的元数据信息在MySQL数据中有57张表 一、存储Hive版本的元数据表（VERSION）  VERSION   -- 查询版本信息 该表比较简单，但很重要。 VER_ID SCHEMA_VERSION...
hive的元数据
Jackie 的博客
04-21 2586
 简介： hive是建立在hadoop之上的数据仓库，一般用于对大型数据集的读写和管理，存在hive里的数据实际上就是存在HDFS上，都是以文件的形式存在，不能进行读写操作，所以我们需要元数据或者说叫schem来对hdfs上的数据进行管理。那元数据表之间有没有什么关联呢？答案是肯定的。hive默认元数据表是存储在derby中的，但是derby是单session的，所以我们一般会...
hive元数据
m0_69433255的博客
05-27 506
/指定Hive表的数据的存储位置，一般在数据已经上传到HDFS(也就是在目录已经存在，指定一下位置指向这个目录)，想要直接使用，会指定Location，通常Location会跟外部表（external）一起使用，内部表一般使用默认的location。location '/data/hive' // 可选， 指定Hive表的数据的存储位置，通常跟外部表一起使用。表（Table）：每个表都有相应的元数据，包括表名称、列名称、列的数据类型、分区信息、表的存储格式、表的所有者等。
Hive元数据 表结构
xw514124202的博客
08-04 698
Hive元数据 简单整理
hive一次加载多个文件_Hive总结
weixin_39685392的博客
11-19 978
Hive总结一、Hive架构 1.架构图 2.Hive架构解析 1）用户接口 CLI：cli即shell命令。CLI最常用CLI启动的时候会同时启动 一个Hive 副本 Client： Client是Hive的客户端，用户连接HiveServer，并指出Hive Server 所在的节点以及在该节点启动它 WUI：WUI是通过浏览器启动Hive 2）元数据Hive将元数据存储在数据库中，...
Hive的元数据
qq_43528451的博客
09-26 962
Hive的元数据 ​ 元数据（metadata）:用来存储hive中的有哪些数据库，哪些表，表的字段，分区，索引以及命名空间 (一套命名规则为确保唯一标识)等。元数据存储在关系型数据库中。如hive内置的Derby、第三方数据库如 mysql等。 ​ 元数据服务（metastore）： 作用是：客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而这些用户不需要知道mysql数据库的用户名和密码，只需要连接me
HIve：元数据表结构
weixin_44591209的博客
04-08 250
Hive中的元数据信息默认是存储在derby中的，但是derby是单session的，一般都会修改成mysql。 在mysql中的metastore库中存放着hive所有元数据信息的表（如下图）。本文将分别介绍他们各自的用途。 VERSION表 存储Hive版本的元数据表，如果该表出现问题，根本进入不了Hive-Cli，会报错”Table ‘hive.version’ doesn’t e...
Hive元数据库深度解析：表与分区详解
Hive的元数据存储了关于数据库、表、字段、分区等对象的所有信息，这些信息用于驱动查询解析、优化以及执行。下面我们将详细探讨这些元数据库表及其在Hive工作中的作用。 1. **DBS** 表： DBS表存储了关于Hive...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九层之台起于累土

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值