查看HIVE元数据存储

1.查看HIVE元数据存储

HIVE是一个基于Hadoop的数据仓库工具,可以将结构化和半结构化的数据进行处理和分析。HIVE通过将数据映射到表结构,并使用类似SQL的查询语言来进行数据分析。在HIVE中,元数据存储了关于数据表、分区、列等信息的元信息。

HIVE元数据存储的概述

HIVE的元数据存储在关系型数据库中,例如MySQL、Derby等。元数据包括数据表的结构、列的类型、分区信息、数据位置等。通过查询元数据,我们可以了解数据表的详细信息,例如数据表的名称、列的名称和类型、分区的信息等。

查看数据表信息

我们可以使用HIVE的DESCRIBE命令来查看数据表的详细信息,包括列的名称、类型等。下面是一个示例代码:

DESCRIBE table_name;

其中,table_name是要查看的数据表的名称。执行以上命令后,将返回数据表的详细信息。

查看列的详细信息

我们可以使用HIVE的DESCRIBE命令来查看数据表中列的详细信息,包括列的名称、类型等。下面是一个示例代码:

DESCRIBE table_name column_name;
其中,table_name是数据表的名称,column_name是要查看的列的名称。执行以上命令后,将返回列的详细信息。

查看分区信息

查看列的详细信息
我们可以使用HIVE的DESCRIBE命令来查看数据表中列的详细信息,包括列的名称、类型等。下面是一个示例代码:

DESCRIBE table_name column_name;
其中,table_name是数据表的名称,column_name是要查看的列的名称。执行以上命令后,将返回列的详细信息。

查看表的Schema

使用以下命令查看表的Schema,即表的字段名和字段类型:
DESCRIBE <table_name>;

查看所有表

使用以下命令查看当前数据库中的所有表:

SHOW TABLES;

2、三种方式存储区别

1.内置derby存储

不同路径启动 hive,每一个 hive 拥有一套自己的元数据,无法共享
hive服务和metastore服务运行在同一个进程中,derby服务也运行在该进程中.内嵌模式使用的是内嵌的Derby数据库来存储元数据,也不需要额外起Metastore服务。
在哪个目录下启动,就会在对应的目录下生成 derby.log 和 metastore.db,只有在此目录下再次启动才可以继续使用上次的元数据库。
这个是默认的,配置简单,但是一次只能一个客户端连接,适用于用来实验,不适用于生产环境。
 

2.查本地模式(Local):本地安装mysql 替代derby存储元数据

不再使用内嵌的Derby作为元数据的存储介质,而是使用其他数据库比如MySQL来存储元数据。hive服务和metastore服务运行在同一个进程中,mysql是单独的进程,可以同一台机器,也可以在远程机器上。
这种方式是一个多用户的模式,运行多个用户client连接到一个数据库中。这种方式一般作为公司内部同时使用Hive。每一个用户必须要有对MySQL的访问权利,即每一个客户端使用者需要知道MySQL的用户名和密码才行。
 

3.远程模式(Remote): 远程安装mysql 替代derby存储元数据

Hive服务和metastore在不同的进程内,可能是不同的机器,该模式需要将hive.metastore.local设置为false,将hive.metastore.uris设置为metastore服务器URL
远程元存储需要单独起metastore服务,然后每个客户端都在配置文件里配置连接到该metastore服务。将metadata作为一个单独的服务进行启动。各种客户端通过beeline来连接,连接之前无需知道数据库的密码
仅连接远程的mysql并不能称之为“远程模式”,是否远程指的是metastore和hive服务是否在同一进程内
 
  • 12
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值