CC00020.hadoop——|Hadoop&Hive.V20|——|Hive.v20|Hive元数据之metastore三种方式.v02|

yanqi_vip

已于 2022-04-10 16:36:48 修改

阅读量165

点赞数

分类专栏： bigdatav007——hadoop.v002 文章标签：数据库 linux mysql hive docker

于 2022-04-07 14:37:00 首次发布

不予转载

本文链接：https://blog.csdn.net/yanqi_vip/article/details/124031105

版权

本文介绍了Hadoop Hive中元数据管理的两种模式：内嵌模式和远程模式。在内嵌模式下，metastore与Hive服务运行在同一进程中，而在远程模式下，metastore作为独立的服务运行，提供元数据查询。配置过程中涉及Linux环境、MySQL数据库以及docker的使用。

摘要由CSDN通过智能技术生成

一、metastore内嵌模式配置

### --- metastore内嵌模式配置流程

~~~     下载软件解压缩
~~~     设置环境变量，并使之生效
~~~     初始化数据库：schematool -dbType derby -initSchema
~~~     进入hive命令行
~~~     再打开一个hive命令行，发现无法进入

二、在linux121上配置内嵌模式

### --- 将 linux123 的 hive 安装文件拷贝到 linux121、linux122并配置内嵌模式

[root@linux123 software]# scp apache-hive-2.3.7-bin.tar.gz linux121:$PWD
[root@linux123 software]# scp apache-hive-2.3.7-bin.tar.gz linux122:$PWD

[root@linux121 software]# tar -zxvf apache-hive-2.3.7-bin.tar.gz -C ../servers/
[root@linux123 software]# tar -zxvf apache-hive-2.3.7-bin.tar.gz -C ../servers/

[root@linux121 servers]# mv apache-hive-2.3.

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

yanqi_vip

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

数据仓库工具 hive的入门（八）元数据管理与存储

weixin_43904810的博客

06-06

963

**Hive命令实战操作之元数据管理与存储提示：本文章内容取自来源：拉勾教育大数据高薪训练营文章目录前言HQL操作之--DQL命令第 1 节 Metastore1.1 metastore三种配置方式第 2 节 HiveServer2第 3 节 HCatalog第 4 节数据存储格式前言提示：本文章对于初学者准备，希望对大家有所帮助。如果有什么建议和疑问，请留言给我，我会不断完成完善。 HQL操作之–DQL命令第 1 节 Metastore Metadata即元数据。元数据包含用Hive

yanqi_vip

04-07

607

附录一：报错处理一： ~~~ [sqoop创建job缺省java-json.jar]——NoClassDefFoundError: org/json/JSONObject ~~~ [sqoop创建job的password文件格式错误]——java.sql.SQLException ### --- 报错现象：sqoop执行job报错：...

参与评论您还未登录，请先登录后发表或查看评论

hive元数据管理与存储

qq_42952861的博客

07-22

148

metastore远程模式配置配置规划：节点 metastore client linux121 √ linux122 √ linux123 √ 配置步骤：配置步骤：** 1、将 linux123 的 hive 安装文件拷贝到 linux121、linux122 linux123上 [root@linux123 ~]# cd $HIVE_HOME [root@linux123 servers]# rsync-script hive-2.3.7/ 在三台服务器上分别安

9 hive-元数据管理

weixin_42749734的博客

01-28

2135

9.1 Metastore 在Hive的具体使用中，首先面临的问题便是如何定义表结构信息，跟结构化的数据映射成功。所谓的映射指的是一种对应关系。在Hive中需要描述清楚表跟文件之间的映射关系、列和字段之间的关系等信息。这些描述映射关系的数据的称之为Hive的元数据。该数据十分重要，因为只有通过查询它才可以确定用户编写sql和最终操作文件之间的关系。 Metadata即元数据。元数据包含用Hive创建的database、table、表的字段等元信息。元数据存储在关系型数据库中。如hive内置的Der...

hive中的元数据管理

qq_42456324的博客

06-06

1338

1、存储Hive版本的元数据表(VERSION)2、Hive数据库相关的元数据表(DBS、DATABASE_PARAMS)DBS：该表存储Hive中所有数据库的基本信息，字段如下:DATABASE_PARAMS：该表存储数据库的相关参数，在CREATE DATABASE时候用WITH DBPROPERTIES(property_name=property_value, …)指定的参数：3、Hive表和视图相关的元数据表主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联

Hive—元数据管理和数据存储

qq_43408367的博客

08-11

2259

## 元数据管理与存储—Metastore 1. 在Hive中，需要定义表结构信息与结构化的数据映射关系，映射指的是对应关系。在Hive中需要描述清楚表跟文件之间的映射关系、列和字段之间的关系等信息。这些描述映射关系的数据的称之为Hive的元数据 2. 只有通过查询Hive元数据才可以确定用户编写sql和最终操作文件之间的关系。 3. Metadata即元数据。元数据包含用Hive创建的database、table、表的字段等元信息。元数据存储在关系型数据库中。如hive内置的Derby、第三方如MySQL

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti

01-07

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解决方法 ...

hive 插入数据报错 org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.thrift.transport.TTransport

qq_40555400的博客

03-24

6886

问题描述执行语句 create table test(id int); 然后向新创建的表中插入数据 insert into test values(1); 控制台报错 org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.thrift.transport.TTransportException at org.apache.hadoop.hive.ql.metadata.Hive.setPartitionColumnSta

hiveMetaMgr:hive仓库元数据管理系统

03-11

#hive仓库元数据管理系统##有如下功能： 1.hive元数据信息的查看，包括表基本信息，数据库基本信息，分区信息，分区信息，索引信息等； 2.对hive元数据的检索，包括表，分段，数据库等内容的检索 3.元数据信息更新（目前只提供对库，表，分段的描述信息进行更新，通过两次双击相应分段可进行相应编辑）； 4.对表数据或按分区进行预览 5.对表数据或按分区进行数据EXCEl格式导出 6.数据下载，直接从hdfs上下载原始数据，可以对整表或者分区进行下载 7.表或该表相应分区的删除（需要数据管理员验证码） 8.执行SQl查询与更新操作，并且可以进行查询结果的导出 9.执行SQl查询与更新操作，并且可以进行查询结果的导出 10.如果你的调度系统是zeus，那么可以通过本系统和zeus结合，实现对分段与表在zeus中的开发中心引用关系的查看 ##系统使用截图如下： ##使用说明：

HIVE HA高可用性及详细使用

05-26

HIVE HA高可用性及详细使用HIVE HA高可用性及详细使用HIVE HA高可用性及详细使用HIVE HA高可用性及详细使用

hive 自定义元数据表_Hive元数据管理

weixin_39882394的博客

12-21

183

众所周知，hive表中的数据是HDFS上的文件，可是hive怎么知道这些文件的内容都对应哪个字段，对应哪个分区呢？就是hive的元数据管理着这一切。通常在hive-site.xml中的元数据库配置成MySQL，替换Derby。javax.jdo.option.ConnectionUserNamerootjavax.jdo.option.ConnectionPasswordrootjavax.jdo...

Hive元数据管理《二》

skynumone的专栏

03-30

1074

1.配置元数据库（1）安装mysql 1）采用yum安装方式 yum install mysql 安装mysql客户端 yum install mysql-server 安装mysql服务端 2）数据库字符集设置： mysql配置文件/etc/my.cnf中加入default-ch

HIve：元数据表结构

weixin_44591209的博客

04-08

224

Hive中的元数据信息默认是存储在derby中的，但是derby是单session的，一般都会修改成mysql。在mysql中的metastore库中存放着hive所有元数据信息的表（如下图）。本文将分别介绍他们各自的用途。 VERSION表存储Hive版本的元数据表，如果该表出现问题，根本进入不了Hive-Cli，会报错”Table ‘hive.version’ doesn’t e...

Hive的元数据信息

sjyttkl的专栏

04-21

1635

Hive将表中的元数据信息存储在数据库中，如derby(自带的)、Mysql(实际工作中配置的)。通过Mysql进行示例说明:Hive数据仓库中： MySql数据库中存储的相应元数据信息: Navicate（远程连接的MySql）对应的元数据信息: Hive中创建的表在hive中可以看到正常的数据，但是在mysql中只能查到hive中表的元数据信息。...

Hive权限管理

wyqwilliam的博客

07-10

441

角色的添加、删除、查看、设置： CREATE ROLE role_name; -- 创建角色 DROP ROLE role_name; -- 删除角色 SET ROLE (role_name|ALL|NONE); -- 设置角色 SHOW CURRENT ROLES; -- 查看当前具有的角色 SHOW ROLES; -- 查看所有存在的角色将角色授予某个用户、...

第三节 hive之元数据

编程代码，数据学习开发的日常总结。欢迎关注VX公众号：张飞的猪

09-23

427

1，hive的元数据 hive将元数据存储在数据库中（metastore），支持MySQL、derby、oracle等数据库，默认是derby数据库2，什么是元数据 hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。

Hive组件高可用

DataFlow范式

01-03

4835

Hive Metastore高可用此文档是为了系统管理员准备的，他们需要配置Hive Metastore高可用服务。重要提示：支持HiveMetastore本身的关系型数据库也应该使用数据库系统所定义的最佳实践提供高可用性。用例和故障转移场景本节提供关于Hive Metastore高可用（HA）的用例和故障转移场景的信息。用例Metastore HA解决方案被设计用来处理metastore服

hive初始化报错org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.