hive 配置metastore三种方式

已于 2022-11-22 23:22:24 修改
阅读量3k 收藏 4
点赞数
分类专栏： Hive 文章标签： hive
于 2019-11-29 18:38:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43192537/article/details/103316271
版权

目录

hive outline

链接

hive 配置metastore三种方式

内嵌模式

在这里插入图片描述
内嵌模式是hive metastore的默认部署模式。此种模式下，元数据存储在内置的Derby数据库，并且Derby数据库和metastore服务都嵌入在主hiveserver2进程中，即当启动hiveserver2进程时，Derby和metastore服务都会启动。缺点是一次只能支持一个客户端连接

想要支持多客户端连接，需要选择以下2种方式

本地模式

在这里插入图片描述

  1. hive metastore服务随主hiveserver2而启动，并且运行在同一进程当中，但是存储元数据的数据库在单独的进程中运行，并且可以在单独的主机上，metastore服务将通过JDBC与元数据库进行通信
  2. 存储元数据的数据库推荐使用MySQL
  3. hive根据hive.metastore.uris 参数值来判断，如果为空，则为本地模式
  4. 缺点是每启动一次hiveserver2，都会启动一个metastore服务

实战链接

远程模式

在这里插入图片描述

  1. 远程模式下，Metastore服务在其自己的单独JVM上运行，而不随hiveserver2启动而启动，需要单独手动启动metastore服务。如果其他进程希望与Metastore服务进行通信，就需要使用Thrift Network API进行通信
  2. 在生产环境中，建议用远程模式来配置Hive Metastore。在这种情况下，其他依赖hive的软件都可以通过Metastore访问hive。由于还可以完全屏蔽数据库层，因此这也带来了更好的可管理性/安全性
  3. 远程模式下，需要配置hive.metastore.uris 参数来指定metastore服务运行的机器ip和端口
塞上江南o
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive 元数据服务 MetaStore
SmartSi
04-26 7220
1. 概念 MetaSore 是 Hive 元数据存储的地方。Hive 数据库、表、函数等的定义都存储在 MetaStore 中。根据系统配置方式，统计信息和授权记录也可以存储在这。Hive 或者其他执行引擎在运行时可以使用这些数据来确定如何解析，授权以及有效执行用户的查询。MetaStore 分为两个部分：服务和后台数据的存储。 2. 配置参数 这里只会展示与 MetaStore 相关的配置参数，与 MetaSote 不相关的配置参数可以在这查阅。 配置参数 参数说明 hive.metas
CDP的Hive3系列之Hive Metastore介绍
未来在这儿的专栏
02-21 1520
CDP的Hive Metastore (HMS) 是一种服务，用于在后端 RDBMS（例如 MySQL 或 PostgreSQL）中存储与 Apache Hive 和其他服务相关的元数据。Impala、Spark、Hive 和其他服务共享元存储。与 HMS 的连接包括 HiveServer、Ranger 和代表 HDFS 的 NameNode。这是CDP中Apache Hive3用户指南系列之一，之后还有几篇来介绍Hive3的功能和使用。
(19)Hive —— Metastore与 HiveServer2关系
最新发布
爱吃辣条的博客
05-17 425
Metastore 与 HiveSever2 关系
Hive metastore三种配置方式
tttjjjlll的专栏
03-28 197
Hive的meta数据支持以下三种存储方式，其中两种属于本地存储，一种为远端存储。远端存储比较适合生产环境。Hive官方wiki详细介绍了这三种方式，链接为：Hive Metastore。 一、本地derby 这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可 [code="java"] javax.jdo.option.Con...
Hive为什么要启用Metastore
weixin_42073629的博客
07-05 1199
相关概念 1.Metadata概念： 元数据包含用Hive创建的database、table等的元信息。元数据存储在关系型数据库中。如Derby、MySQL等。 2.Metastore作用： 客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。 bin/hin --访问--> metaStore...
详解：Hive的MetaStore和三种配置方式
qq_43688472的博客
06-24 1538
一：Metadata概念： 元数据包含用Hive创建的database、table等的元信息。元数据存储在关系型数据库中。如Derby、MySQL等。 二：Metastore作用： 客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接met...
Hudi（23）：Hudi集成Hive之同步
yang_shibiao的博客
02-10 1620
Flink hive sync 现在支持两种 hive sync mode, 分别是 hms 和 jdbc 模式。其中 hms 只需要配置 metastore uris；注意：核心点为上述hive_sync系列的配置。
hive metastore java api使用
01-07
hive metastore是hive的元数据管理服务，实际应用中很多第三方框架需要访问metastore服务，如spark,impala等。同样hive metastore也提供了java接口。 使用 import org.apache.hadoop.hive.conf.HiveConf; import org...
standalone-hive-metastore
04-01
独立的Hive Metastore 该项目可在本地运行Hive Metastore，或将其嵌入到容器中。 尽管是公开的，但该项目目前尚未记录，并且可能仍承载某些基础结构特定配置。 该项目的灵感来自和多亏了他
hive-metastore-2.3.6.jar
04-14
需要导入hive运行所需的jar包，导入jar包有两种方式可实现 1.使用maven依赖直接修改配置文件，以下为配置内容：（不推荐，会下载额外很多无用包，而且时间很长在1小时左右） 2.挑选必须的jar包，编辑成自己的lib...
详细调研hivemetastore管理机制.zip
09-22
了解Hive Metastore的工作原理有助于我们优化Hive性能，例如，合理配置Metastore的缓存策略可以减少元数据的查询延迟；定期清理无用的元数据可以节省存储空间；选择合适的元数据库类型（如MySQL、PostgreSQL）可以...
hive-metastore-2.3.2.jar
09-30
hive-metastore-2.3.2.jar 修改了配置文件，适合oracle的jar包,
hive --service metastore 启动报错
m0_54233757的博客
08-02 5887
Hadoop@masterHive]$2021-10-28153757StartingHiveMetastoreServeratorg.apache.hadoop.hive.metastore.RetryingHMSHandler.(RetryingHMSHandler.java84)atorg.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java93)atorg.
hive中启动metastore
滴水可以穿石 百炼才能成钢，谋全局而通一域 致广大而尽精微
11-01 7014
进入hive_home目录下 输入命令: 启动metastore: bin/hive--service metastore 后台启动: bin/hive --service metastore 2>&1 >> /var/log.log & 后台启动,关闭shell连接依然存在: nohup bin/hive --service me
06 - metastore服务、hive服务启动脚本以及相关使用技巧
花&败
05-02 1762
Hive的metastore服务的作用是为Hive CLI或者Hiveserver2提供元数据访问接口。metastore有两种运行模式，分别为嵌入式模式和。下面分别对两种模式进行说明：（1）嵌入式模式（2）独立服务模式生产环境中，不推荐使用嵌入式模式。因为其存在以下两个问题：（1）嵌入式模式下，每个Hive CLI都需要直接连接元数据库，当Hive CLI较多时，数据库压力会比较大。（2）每个客户端都需要用户元数据库的读写权限，元数据库的安全得不到很好的保证。
Flink + Hudi 实现多流拼接(大宽表)
j简说Linux的博客
11-09 4132
经典场景Flink 侧实现业务侧通常会基于实时计算引擎在流上做多个数据源的 JOIN 产出这个宽表，但这种解决方案在实践中面临较多挑战，主要可分为以下两种情况：我们基于Hudi Payload的合并机制，开发出了一种全新的多流join的解决方案:该方案在存储层提供对多流数据的关联能力，旨在解决实时场景下多流 join遇到的一系列问题。在所有的表中维护了一个包含在不同的即时(Instant)时间对数据集操作(比如新增、修改或删除)的时间轴(Timeline)。在每一次对hudi表的数据集操作时都会在该表的Ti
hiveServer2、metastore以及client解读
遥望......
02-26 1209
hive服务架构图： Metastore通过Thrift API 对外提供访问，生态里的工具如：pig, MR, impala, presto, SparkSQL, NIFI 都可以通过Thrift接口访问Metastore， Metastore接口格式为：thrift://xxxxxxx:9083 HiveServer2对外提供JDBC/ODBC接口，供前端工具(DBeavor, SQL Squirrel, SQL Developer, DBVis)使用， 编程语言如：Python, Scala,
Hive的metastore服务的两种运行模式
Appreciate(欣赏)
12-05 580
生产环境中，不推荐使用嵌入式模式。因为其存在以下两个问题：（1）嵌入式模式下，每个Hive CLI都需要直接连接元数据库，当Hive CLI较多时，数据库压力会比较大。（2）每个客户端都需要用户元数据库的读写权限，元数据库的安全得不到很好的保证。
hive2.1.1 Metastore配置kerberos认证
05-24
要在Hive2.1.1中启用Kerberos认证，需要进行以下步骤： 1. 配置Kerberos客户端 - 安装Kerberos客户端并配置krb5.conf文件。 - 为Hive服务和Metastore服务创建Kerberos principal（principal是Kerberos中的用户或服务）。 2. 配置Hadoop - 在core-site.xml中添加以下属性： ``` <property> <name>hadoop.security.authentication</name> <value>kerberos</value> </property> ``` - 在hdfs-site.xml中添加以下属性（如果HDFS启用了Kerberos认证）： ``` <property> <name>dfs.namenode.kerberos.principal</name> <value>hdfs/_HOST@EXAMPLE.COM</value> </property> <property> <name>dfs.datanode.kerberos.principal</name> <value>hdfs/_HOST@EXAMPLE.COM</value> </property> ``` - 在yarn-site.xml中添加以下属性（如果YARN启用了Kerberos认证）： ``` <property> <name>yarn.resourcemanager.principal</name> <value>yarn/_HOST@EXAMPLE.COM</value> </property> <property> <name>yarn.nodemanager.principal</name> <value>yarn/_HOST@EXAMPLE.COM</value> </property> ``` 3. 配置Hive Metastore - 在hive-site.xml中添加以下属性： ``` <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>hivepassword</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>hive.metastore.sasl.enabled</name> <value>true</value> </property> <property> <name>hive.metastore.kerberos.keytab.file</name> <value>/path/to/metastore.keytab</value> </property> <property> <name>hive.metastore.kerberos.principal</name> <value>metastore/_HOST@EXAMPLE.COM</value> </property> ``` 其中，hive.metastore.kerberos.keytab.file和hive.metastore.kerberos.principal分别指定Metastore服务的Kerberos keytab文件和principal。 4. 配置HiveServer2 - 在hive-site.xml中添加以下属性： ``` <property> <name>hive.server2.authentication</name> <value>kerberos</value> </property> <property> <name>hive.server2.authentication.kerberos.keytab</name> <value>/path/to/hive.keytab</value> </property> <property> <name>hive.server2.authentication.kerberos.principal</name> <value>hive/_HOST@EXAMPLE.COM</value> </property> ``` 其中，hive.server2.authentication.kerberos.keytab和hive.server2.authentication.kerberos.principal分别指定HiveServer2服务的Kerberos keytab文件和principal。 完成以上步骤后，启动Hive Metastore和HiveServer2服务，并使用Kerberos principal登录。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值