9 hive-元数据管理

已于 2022-04-15 10:13:14 修改
阅读量1.9k 收藏 12
点赞数 1
分类专栏： hive 大数据 文章标签： hive 大数据
于 2021-01-28 14:44:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42749734/article/details/113337559
版权

9.1 Metastore

在Hive的具体使用中，首先面临的问题便是如何定义表结构信息，跟结构化的数据映射成功。所谓的映射指的是一种对应关系。在Hive中需要描述清楚表跟文件之间的映射关系、列和字段之间的关系等信息。这些描述映射关系的数据的称之为Hive的元数据。该数据十分重要，因为只有通过查询它才可以确定用户编写sql和最终操作文件之间的关系。

Metadata即元数据。元数据包含用Hive创建的database、table、表的字段等元信息。元数据存储在关系型数据库中。如hive内置的Derby、第三方如MySQL等。

Metastore即元数据服务，是Hive用来管理库表元数据的一个服务。有了它上层的服务不用再跟裸的文件数据打交道，而是可以基于结构化的库表信息构建计算框架。

通过metastore服务将Hive的元数据暴露出去，而不是需要通过对Hive元数据库mysql的访问才能拿到Hive的元数据信息;metastore服务实际上就是一种thrift服务，通过它用户可以获取到Hive元数据，并且通过thrift获取元数据的方式，屏蔽了数据库访问需要驱动，url，用户名，密码等细节。

metastore三种配置方式

1、内嵌模式

内嵌模式使用的是内嵌的Derby数据库来存储元数据，也不需要额外起Metastore服务。数据库和Metastore服务都嵌入在主Hive Server进程中。这个是默认的，配置简单，但是一次只能一个客户端连接，适用于用来测试，不适用于生产环境。

优点:配置简单，解压hive安装包 bin/hive 启动即可使用;

缺点:不同路径启动hive，每一个hive拥有一套自己的元数据，无法共享。

2、本地模式

本地模式采用外部数据库来存储元数据，目前支持的数据库有:MySQL、Postgres、Oracle、MS SQL Server。本文介绍的是MySQL。

本地模式不需要单独起metastore服务，用的是跟Hive在同一个进程里的metastore服务。也就是说当启动一个hive服务时，其内部会启动一个metastore服务。Hive根据 hive.metastore.uris 参数值来判断，如果为空，则为本地模式。

image.png

缺点:每启动一次hive服务，都内置启动了一个metastore;在hive-site.xml中暴露的数据库的连接信息;

优点:配置较简单，本地模式下hive的配置中指定mysql的相关信息即可。

3、远程模式

远程模式下，需要单独起metastore服务，然后每个客户端都在配置文件里配置连接到该metastore服务。

远程模式的metastore服务和hive运行在不同的进程里。

在生 产环境中，建议用远程模式来配置Hive Metastore。

在这种模式下，其他依赖hive的软件都可以通过Metastore访问Hive。此时需要配置 hive.metastore.uris 参数来指定metastore服务运行的机器ip和端口，并且需要单独手动启动metastore服务。metastore服务可以配置多个节点上，避免单节点故障导致整个集群的hive client不可用。同时hive client配置多个metastore地址，会自动选择可用节点。

image.png

metastore内嵌模式配置

1、下载软件解压缩
2、设置环境变量，并使之生效
3、初始化数据库。
	schematool -dbType derby -initSchema
4、进入hive命令行
5、再打开一个hive命令行，发现无法进入

metastore远程模式配置

配置规划:

image.png

配置步骤:

1、将 linux123 的 hive 安装文件拷贝到 linux121、linux122

2、在linux121、linux123上分别启动 metastore 服务

# 启动 metastore 服务
nohup hive --service metastore &
# 查询9083端口(metastore服务占用的端口) 
lsof -i:9083
# 安装lsof
yum install lsof

3、修改 linux122 上hive-site.xml。

删除配置文件中:MySQL的配置、连接数据库 的用户名、口令等信息;增加连接metastore的配置:

<!-- hive metastore 服务地址 -->
<property>
  <name>hive.metastore.uris</name>
	<value>thrift://linux121:9083,thrift://linux123:9083</value>
</property>

4、启动hive。

此时client端无需实例化hive的metastore，启动速度会加快。

# 分别在linux121、linux121上执行以下命令，查看连接情况
lsof -i:9083

5、高可用测试。

关闭已连接的metastore服务，发现hive连到另一个节点的服务上，仍然能够正常使用。

使用hive遇到的问题

image.png

解决方法：先启动元数据服务，就没问题了。

bin/hive --service metastore &
bin/hive

9.2 Hiveserver2

HiveServer2是一个服务端接口，使远程客户端可以执行对Hive的查询并返回结果。目前基于Thrift RPC的实现是HiveServer的改进版本，并支持多客户端并发和身份验证，启动hiveServer2服务后，就可以使用jdbc、odbc、thrift的方式连接。

Thrift是一种接口描述语言和二进制通讯协议，它被用来定义和创建跨语言的服务。它被当作一个远程过程调用(RPC)框架来使用，是由Facebook为“大规模跨语言服务开发”而开发的。

image.png

HiveServer2(HS2)是一种允许客户端对Hive执行查询的服务。HiveServer2是 HiveServer1的后续版本。HS2支持多客户端并发和身份验证，旨在为JDBC、ODBC 等开放API客户端提供更好的支持。

HS2包括基于Thrift的Hive服务(TCP或HTTP)和用于Web UI 的Jetty Web服务器。

HiveServer2作用

为Hive提供了一种允许客户端远程访问的服务基于thrift协议，支持跨平台，跨编程语言对Hive访问允许远程访问Hive

HiveServer2配置

配置规划

配置步骤

1、修改集群上(hadoop)的 core-site.xml，增加以下内容:

<!-- HiveServer2 连不上10000;hadoop为安装用户 -->
<!-- root用户可以代理所有主机上的所有用户 -->
<property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
</property>
<property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
</property>
<property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
</property>
<property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
</property>

2、修改集群上(hadoop)的 hdfs-site.xml，增加以下内容

<!-- HiveServer2 连不上10000;启用 webhdfs 服务 -->
<property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
</property>

修改完成后将以上两个配置发送到集群上其他节点

scp hdfs-site.xml linux122:$PWD
scp hdfs-site.xml linux123:$PWD

scp core-site.xml linux123:$PWD
scp core-site.xml linux122:$PWD

3、启动linux123上的 HiveServer2 服务

# 启动 hiveserver2 服务 
nohup hiveserver2 &

# 检查 hiveserver2 端口 
lsof -i:10000

# 从2.0开始，HiveServer2提供了WebUI
# 还可以使用浏览器检查hiveserver2的启动情况。
http://linux123:10002/

4、启动 linux122 节点上的beeline

cd /opt/lagou/servers/hive-2.3.7/bin/

ll

./beeline

Beeline是从 Hive 0.11版本引入的，是 Hive 新的命令行客户端工具。

Hive客户端工具后续将使用Beeline替代 Hive 命令行工具，并且后续版本也会废弃掉 Hive 客户端工具。

-- 连接到hiveserver2，不用输密码，直接回车
!connect jdbc:hive2://linux123:10000



-- 测试
use mydb;
create table tabtest1 (c1 int, c2 string);
show tables;
select * from emp;

-- 连接到mysql
!connect jdbc:mysql://linux123:3306
!help
-- 退出
!quit

9.3 HCatalog

HCatalog 提供了一个统一的元数据服务，允许不同的工具如 Pig、MapReduce 等通过 HCatalog 直接访问存储在 HDFS 上的底层文件。HCatalog是用来访问Metastore的Hive子项目，它的存在给了整个Hadoop生态环境一个统一的定义。

HCatalog 使用了 Hive 的元数据存储，这样就使得像 MapReduce 这样的第三方应用可以直接从 Hive 的数据仓库中读写数据。同时，HCatalog 还支持用户在 MapReduce 程序中只读取需要的表分区和字段，而不需要读取整个表，即提供一种逻辑上的视图来读取数据，而不仅仅是从物理文件的维度。

HCatalog 提供了一个称为 hcat 的命令行工具。这个工具和 Hive 的命令行工具类似，两者最大的不同就是 hcat 只接受不会产生 MapReduce 任务的命令。

# 进入 hcat 所在目录。$HIVE_HOME/hcatalog/bin
cd $HIVE_HOME/hcatalog/bin
# 执行命令，创建表
./hcat -e "create table default.test1(id string, name string, age int)"
# 长命令可写入文件，使用 -f 选项执行
./hcat -f createtable.txt
# 查看元数据
./hcat -e "use mydb; show tables"
# 查看表结构
./hcat -e "desc mydb.emp"
# 删除表
./hcat -e "drop table default.test1"

9.4 数据存储格式

Hive支持的存储数的格式主要有:TEXTFILE(默认格式) 、SEQUENCEFILE、RCFILE、ORCFILE、PARQUET。

textfile为默认格式，建表时没有指定文件格式，则使用TEXTFILE，导入数据时会直接把数据文件拷贝到hdfs上不进行处理;

sequencefile，rcfile，orcfile格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中，然后再从表中用insert导入sequencefile、 rcfile、orcfile表中。

行存储与列存储

行式存储下一张表的数据都是放在一起的，但列式存储下数据被分开保存了。

行式存储:

优点:数据被保存在一起，insert和update更加容易

缺点:选择(selection)时即使只涉及某几列，所有数据也都会被读取

列式存储:

优点:查询时只有涉及到的列会被读取，效率高

缺点:选中的列要重新组装，insert/update比较麻烦

TEXTFILE、SEQUENCEFILE的存储格式是基于行存储的;

RCFILE、ORC和PARQUET是基于列式存储的。

image.png

TextFile

Hive默认的数据存储格式，数据不做压缩，磁盘开销大，数据解析开销大。可结合 Gzip、Bzip2使用(系统自动检查，执行查询时自动解压)，但使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。 

create table if not exists uaction_text(
  userid string,
  itemid string,
  behaviortype int,
  geohash string,
  itemcategory string,
  time string)
row format delimited fields terminated by ','
stored as textfile;
load data local inpath '/home/hadoop/data/useraction.dat'
overwrite into table uaction_text;

备注：文件要放在HiveServer2所在的节点上 

SEQUENCEFILE

SequenceFile是Hadoop API提供的一种二进制文件格式，其具有使用方便、可分割、可压缩的特点。 SequenceFile支持三种压缩选择:none，record，block。 Record压缩率低，一般建议使用BLOCK压缩。

RCFile

RCFile全称Record Columnar File，列式记录文件，是一种类似于SequenceFile的键值对数据文件。RCFile结合列存储和行存储的优缺点，是基于行列混合存储的RCFile。

RCFile遵循的“先水平划分，再垂直划分”的设计理念。先将数据按行水平划分为行组，这样一行的数据就可以保证存储在同一个集群节点;然后在对行进行垂直划分。

image.png

  • 一张表可以包含多个HDFS block
  • 在每个block中，RCFile以行组为单位存储其中的数据
  • row group又由三个部分组成
    • 用于在block中分隔两个row group的16字节的标志区
    • 存储row group元数据信息的header 实际数据区
    • 表中的实际数据以列为单位进行存储

ORCFile

ORC File，它的全名是Optimized Row Columnar (ORC) file，其实就是对RCFile做了一些优化，在hive 0.11中引入的存储格式。这种文件格式可以提供一种高效的方法来存储Hive数据。它的设计目标是来克服Hive其他格式的缺陷。运用ORC File可以提高Hive的读、写以及处理数据的性能。ORC文件结构由三部分组成:

  • 文件脚注(file footer):包含了文件中 stripe 的列表，每个stripe行数，以及每个列的数据类型。还包括每个列的最大、最小值、行计数、求和等信息
  • postscript:压缩参数和压缩大小相关信息
  • 条带(stripe):ORC文件存储数据的地方。在默认情况下，一个stripe的大小为250MB
    • Index Data:一个轻量级的index，默认是每隔1W行做一个索引。包括该条带的一些统计信息，以及数据在stripe中的位置索引信息
    • Rows Data:存放实际的数据。先取部分行，然后对这些行按列进行存储。 对每个列进行了编码，分成多个stream来存储
    • Stripe Footer:存放stripe的元数据信息

image.png

ORC在每个文件中提供了3个级别的索引:文件级、条带级、行组级。借助ORC提供的索引信息能加快数据查找和读取效率，规避大部分不满足条件的查询条件的文件和数据块。使用ORC可以避免磁盘和网络IO的浪费，提升程序效率，提升整个集群的工作负载。

create table if not exists uaction_orc(
  userid string,
  itemid string,
  behaviortype int,
  geohash string,
  itemcategory string,
  time string)
stored as orc;
insert overwrite table uaction_orc select * from uaction_text;

Parquet

Apache Parquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop 生态圈中大多数计算框架(Mapreduce、Spark等)，被多种查询引擎支持(Hive、 Impala、Drill等)，与语言和平台无关的。

Parquet文件是以二进制方式存储的，不能直接读取的，文件中包括实际数据和元数据，Parquet格式文件是自解析的。

image.png

Row group:

  • 写入数据时的最大缓存单元
  • MR任务的最小并发单元
  • 一般大小在50MB-1GB之间

Column chunk:

  • 存储当前Row group内的某一列数据
  • 最小的IO并发单元

Page:

  • 压缩、读数据的最小单元
  • 获得单条数据时最小的读取数据单元
  • 大小一般在8KB-1MB之间，越大压缩效率越高

Footer:

  • 数据Schema信息
  • 每个Row group的元信息:偏移量、大小
  • 每个Column chunk的元信息:每个列的编码格式、首页偏移量、首索引页偏移量、个数、大小等信息
create table if not exists uaction_parquet(
  userid string,
  itemid string,
  behaviortype int,
  geohash string,
  itemcategory string,
  time string)
stored as parquet;
insert overwrite table uaction_parquet select * from
uaction_text;

文件存储格式对比测试

说明:

1、给 linux123 分配合适的资源。2core;2048G内存

2、适当减小文件的数据量(现有数据约800W，根据自己的实际选择处理100- 300W条数据均可)

# 检查文件行数
wc -l uaction.dat
#
head -n 1000000 uaction.dat > uaction1.dat
tail -n 1000000 uaction.dat > uaction2.dat

文件压缩比

hive (mydb)> dfs -ls /user/hive/warehouse/mydb.db/ua*;
 13517070  /user/hive/warehouse/mydb.db/uaction_orc/000000_1000
 34867539  /user/hive/warehouse/mydb.db/uaction_parquet/000000_1000
 90019734  /user/hive/warehouse/mydb.db/uaction_text/useraction.dat

ORC > Parquet > text

SELECT COUNT(*) FROM uaction_text;
SELECT COUNT(*) FROM uaction_orc;
SELECT COUNT(*) FROM uaction_parquet;
-- text : 14.446
-- orc: 0.15
-- parquet : 0.146

orc 与 parquet类似 > txt

在生产环境中，Hive表的数据格式使用最多的有三种:TextFile、ORCFile、Parquet。

  • TextFile文件更多的是作为跳板来使用(即方便将数据转为其他格式)
  • 有update、delete和事务性操作的需求，通常选择ORCFile
  • 没有事务性要求，希望支持Impala、Spark，建议选择Parquet
微毂
关注
  • 1
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive基本操作
橙汁糖的博客
02-10 5984
一、Hive创建数据库与数据表 1.1.数据库相关操作 1.1.1.创建数据库 语法： create database if not exists 数据库名; 示例： create database if not exists mytestdatabase; 1.1.2.创建数据库并指定HDFS存储路径 语法： create database if not exists 数据库名 location 'HDS存储路径'; 示例： create database if not
Hive表操作及管理
ez scope
05-26 1861
Hive表个人实践总结
Hive之深入了解元数据
weixin_45666566的博客
01-07 6458
元数据引言1、Hive 元数据2、Hive 元数据表2.1 Hive 库2.2 VERSION 表2.3 Hive数据库相关的元数据表2.3.1 DBS—数据库表2.3.2 DATABASE_PARAMS表—数据库参数表2.4 Hive数据表相关的元数据表2.4.1 TBLS表—数据表的元数据表2.4.2 TABLE_PARAMS表—数据表属性信息表2.4.3 TBL_PRIVS—授权表2.5 Hive文件存储信息相关的元数据表2.5.1 SDS表2.5.2 SD_PARAMS表2.5.3 SERDES表
hive什么是元数据？
weixin_44943389的博客
07-02 956
元数据通常存储在持久的存储系统中，如关系型数据库（如MySQL、PostgreSQL）或Hive的自定义元数据存储（如Derby）。存储格式（Storage Format）：Hive支持不同的存储格式，例如文本格式（Text）、序列文件格式（SequenceFile）、列式存储格式（ORC）等。表（Table）：每个表都有相应的元数据，包括表名称、列名称、列的数据类型、分区信息、表的存储格式、表的所有者等。数据库（Database）：元数据中包含有关数据库的定义，例如数据库名称、所有者、创建时间等。
hive元数据
最新发布
Geonaut的博客
05-31 558
元数据在Hive中起着关键的作用，它使得Hive能够理解和操作存储在底层存储系统中的数据。以下是一些常见的元数据信息：1数据库（Database）：元数据中包含有关数据库的定义，例如数据库名称、所有者、创建时间等。2表（Table）：每个表都有相应的元数据，包括表名称、列名称、列的数据类型、分区信息、表的存储格式、表的所有者等。3列（Column）：表中每个列都有相关的元数据，包括列名称、数据类型、注释等。
Hive 元数据表结构详解
weixin_34294649的博客
08-15 514
Hive 元数据表结构详解 2017年06月15日 09:49:31 阅读数：4116 原文地址：https://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663993556&idx=1&sn=0e5291bd63426d747f32a7fd05128caa&sce...
数据仓库工具 hive的入门（八）元数据管理与存储
weixin_43904810的博客
06-06 722
**Hive命令实战操作之元数据管理与存储 提示：本文章内容取自来源： 拉勾教育大数据高薪训练营 文章目录前言HQL操作之--DQL命令第 1 节 Metastore1.1 metastore三种配置方式第 2 节 HiveServer2第 3 节 HCatalog第 4 节 数据存储格式 前言 提示：本文章对于初学者准备，希望对大家有所帮助。如果有什么建议和疑问，请留言给我，我会不断完成完善。 HQL操作之–DQL命令 第 1 节 Metastore Metadata即元数据。元数据包含用Hive
hive仓库元数据管理系统
02-05
hive仓库元数据管理系统 hive仓库元数据管理系统 ##有如下功能： 1.hive元数据信息的查看，包括表基本信息，数据库基本信息，字段信息，分区信息，索引信息等； 2.对hive元数据的检索，包括表、字段、数据库等内容...
hive-exec-2.1.1.jar
04-14
同时，Hive的性能可以通过优化元数据、分区策略、并行执行、压缩等方式进一步提升。 总的来说，理解Hive及其相关组件的工作原理，以及如何解决特定问题，对于大数据分析师和数据工程师来说至关重要。正确配置和使用...
apache-hive-3.1.2-bin.tar.gz
06-24
5. `metastore/`：元数据存储相关的库和脚本，Hive使用元数据来跟踪表和分区的信息。 6. `docs/`：文档和帮助资料。 升级Jetty的过程可能包括下载源码，修改pom.xml文件以指定新版本，编译源码，然后将新编译的...
apache-hive-2.3.9，linux安装包
05-06
其中，`hive.metastore.uris` 指定Hive元数据存储的位置，通常为Thrift服务器；`hive.metastore.warehouse.dir` 是HDFS上的仓库目录；`javax.jdo.option.ConnectionURL` 等配置是与MySQL数据库的连接信息，用于存储...
hive-jdbc-uber-2.6.5.0-292.jar驱动
01-05
3. **元数据获取**：允许用户获取数据库、表、列等元数据信息。 4. **批处理**：支持批量执行SQL语句，提高执行效率。 5. **事务管理**：虽然Hive本身不完全支持ACID事务，但驱动提供了部分事务管理能力。 6. **安全...
Hive：元数据的三种部署方式
程序员无羡的博客
07-19 1654
Hive：元数据的三种部署方式
【Hive】Hive元数据库介绍及信息查看
热门推荐
victorzzzz的专栏
08-20 2万+
转载@dabokele 在安装Hive时，需要在hive-site.xml文件中配置元数据相关信息。与传统关系型数据库不同的是，hive表中的数据都是保存的HDFS上，也就是说hive中的数据库、表、分区等都可以在HDFS找到对应的文件。这里说到的元数据可以理解成hive中用于保存数据库、表、分区或者表字段等基本属性，以及这些属性与HDFS文件对应关系的一个映射。 　　这些映射关系比较常见的一...
hive的元数据
weixin_30483495的博客
04-23 129
简介： hive是建立在hadoop之上的数据仓库，一般用于对大型数据集的读写和管理，存在hive里的数据实际上就是存在HDFS上，都是以文件的形式存在，不能进行读写操作，所以我们需要元数据或者说叫schem来对hdfs上的数据进行管理。那元数据表之间有没有什么关联呢？答案是肯定的。hive默认元数据表是存储在derby中的，但是derby是单session的，所以我们一般会修改会mysql ...
Hive基础
m0_57356943的博客
07-05 930
Hive 数据仓库 数据仓库是存数据的，企业的各种数据往里存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。 可以理解为：数据仓库是面向分析的存储系统 主要特征：是面向主题的、集成的、非易失的和时变的数据集合，用于支持管理决策。 数据库与数据仓库的区别： 数据仓库是在数据库已经大量存在的情况下，为了进一步挖掘数据资源，为了决策需要而产生的，它绝不是所谓的 “大型数据库”。 1 Hive介绍 传入一条交互式的SQL在海量的数据中查询
Hive元数据表结构详解
06-14 1万+
概述 我们知道Apache Hive 是构建在Apache Hadoop之上的数据仓库。有助于对大型的数据集进行读、写和管理。这也是官网介绍的第一句话，虽然简短但是却能提炼出很多东西，大家可以去细细品味下。该篇博客不做过多讲述。本文我们介绍Hive的原数据表，他默认是存储再derby中的，但是我们一般会修改会mysql。作者使用的也是mysql进行的管理。 Hive元数据表结构 hive-...
Hive学习总结（三）之元数据Metastore
weixin_38924500的博客
06-29 1216
1、元数据 元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录，为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。 Hive中的Metastore默认存储在自带的derby数据库中，但是我们推荐使用MySQL存储Metastore;因为存储在derby数据库，hive只能开启一个客户端，使用
Hive高级、Hive的元数据
忆往昔的博客
09-07 1198
标题1、Hive元数据表（1）存储Hive版本的元数据表（2）Hive数据库相关的元数据表2）DATABASE_PARAMS（3）Hive表和视图相关的元数据表（4）Hive文件存储信息相关的元数据表（5）Hive表字段相关的元数据表（6）Hive表分区相关的元数据表2）PARTITION_KEYS3）PARTITION_KEY_VALS4）PARTITION_PARAMS（7）Hive函数相关的元数据表（8）其他不常用的元数据表2、Hive中Join的用法（1）join六种用法（2）join语法格式（3）
hive的元数据管理
08-25
Hive是一个基于Hadoop的数据仓库工具，用于处理大规模数据集。它使用元数据来管理数据表、分区和表结构等信息。元数据是指描述数据属性、结构和关系的信息。 Hive的元数据管理主要包括以下几个方面： 1. 元数据库：Hive使用元数据库来存储和管理元数据信息。默认情况下，Hive使用Derby作为嵌入式数据库来存储元数据，但也可以配置使用其他数据库，如MySQL或PostgreSQL。 2. 元数据表：Hive中的每个表都有相应的元数据表来存储表的信息，包括表名、列名、数据类型、分区信息等。这些元数据可以通过DESCRIBE命令或通过查询元数据表来获取。 3. 分区管理：Hive支持对数据进行分区管理，可以将数据分成多个逻辑组，以提高查询性能。分区信息也存储在元数据中，可以通过ALTER命令进行修改或查询。 4. 数据库和命名空间：Hive中可以创建多个数据库，用于在逻辑上组织和管理表。数据库也是通过元数据进行管理的，包括数据库名称、所有者等信息。此外，Hive还支持命名空间的概念，以进一步组织和隔离表。 通过对元数据的管理，Hive可以更好地理解和处理数据，并提供更高效的查询和分析功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值