HIVE Metastore中Local/Embedded Metastore Server的配置分析

最新推荐文章于 2024-05-17 10:37:44 发布
最新推荐文章于 2024-05-17 10:37:44 发布
阅读量1.5k 收藏
点赞数
分类专栏： HADOOP 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jsin31/article/details/53002131
版权
本文深入探讨了HIVE元数据存储的两种模式：Local/Embedded Metastore（使用Derby数据库）和Remote Metastore。内容包括它们的设置与工作原理，帮助理解何时选择本地或远程Metastore Server。
摘要由CSDN通过智能技术生成
*初学者个人体会，主要作为笔记使用，如有错误欢迎指正。

根据现在的官方指引（modified by Shannon Ladymon on Jul 22, 2016）所述，HIVE的Metastore有四种配置，其中又分为两种形式—— 数据库（Metastore database）和服务器（Metastore Server）：
  • Local/Embedded Metastore Database (Derby)
  • Remote Metastore Database
  • Local/Embedded Metastore Server 
  • Remote Metastore Server
而Local/Embedded Metastore Database (Derby)（可理解为调
最低0.47元/天 解锁文章
纠了个结De聖
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive metastore java api使用
01-07
hive metastore是hive的元数据管理服务，实际应用中很多第三方框架需要访问metastore服务，如spark,impala等。同样hive metastore也提供了java接口。 使用 import org.apache.hadoop.hive.conf.HiveConf; import org...
详细调研hivemetastore管理机制.zip
09-22
了解Hive Metastore的工作原理有助于我们优化Hive性能，例如，合理配置Metastore的缓存策略可以减少元数据的查询延迟；定期清理无用的元数据可以节省存储空间；选择合适的元数据库类型（如MySQL、PostgreSQL）可以...
metadata远程存储和hive.metastore.local属性的说明
dsl200970的博客
04-19 2024
官网上对hive.metastore.local属性的解释为：local or remote metastore (Removed as of Hive 0.10: If hive.metastore.uris is empty local mode is assumed, remoteotherwise)；即本地或者远程的元数据(在hive0.10版本上删除列这个属性；如果hive.me
Hive问题：HiveConf of name hive.metastore.local does not exist
jiaofengaoxue的博客
01-04 6668
当执行Hive客户端时候出现如下错误：        WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist 这是由于在0.10 0.11或者之后的HIVE版本 hive.metastore.local 属性不再使用。将该参数从hive-site.xml删除即可。
(19)Hive —— Metastore与 HiveServer2关系
最新发布
爱吃辣条的博客
05-17 475
Metastore 与 HiveSever2 关系
Embedded metastore is not allowed. Make sure you have set a valid value for hive.metastore.uris
yang灬仔
12-24 3214
flink集成hive 启动：flink-sql 报错： ./sql-client.sh embedded 报错如下： 2021-12-18 17:49:42,129 INFO org.apache.hadoop.hive.conf.HiveConf [] - Found configuration file file:/home/hadoop/apps/hive-3.1.2/conf/hive-site.xml Exception in thr...
【Hive Warn】hive.metastore.local does not exist处理方式
boranyueshijie的博客
05-30 2090
1、问题背景 当输入命令hive启动hive时，报了如下警告： 21/05/30 01:37:12 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist 2、问题原因 是因为在0.10 0.11或者之后的hive版本 hive.metastore.local 属性不再使用。 3、解决方式 修改hive-site.xml文件，去掉hive.metastore.local的属性配置。 [admin@master ~]
Hive学习之Metastore及其配置管理
TBN_MSnail
07-24 1050
在学习Hive的配置管理参数时，曾将参数分为四类：Hive管理参数、Hive元存储（Metastore）管理参数、与Hadoop交互的管理参数、用于传递运行时信息的参数，当时并没有对Metastore参数进行深入的学习，现在就开始学习这部分的内容。        Hive中表和分区的所有元数据都存储在Hive的元存储（Metastore）中。元数据使用JPOX（Java Persistent O
Hive metastore 使用达梦数据库存储元数据
05-10
总结起来，将Hive metastore迁移到达梦数据库涉及创建数据库用户和表空间、修改Hive配置文件以及初始化元数据等步骤。这个过程不仅可以提升元数据管理的性能，还可以利用达梦数据库的特性来增强数据安全性。然而，...
hive-metastore-3.1.2.jar
04-15
hive-metastore-3.1.2.jar
hive systemctl启停hiveserver2和metastore服务.pdf
07-21
例如，启动Metastore服务会使用`nohup`命令在后台运行`/usr/local/hive/bin/hive --service metastore`，而停止服务则通过`ps`命令找到对应进程并使用`kill`命令终止。 接着，为了使这些操作更加自动化和方便，我们...
hive中mysql的作用_hive+mysql安装、hive.metastore.local属性的真正用途
weixin_31800911的博客
01-20 392
本文对Hive+mysql的安装做一个总结，后期会把Hive的一些资料放上来：1.安装目标：Hive搭配远程Mysql2.要点总结：1).Mysql的配置：假如Hive以hive用户连接Mysql，以root用户登录Mysql：drop user hive@'%';grant all on db.* to hive@'%' identified by '密码';(使用户可以远程连接Mysql)gr...
flink连接hive的相关配置和Embedded metastore is not allowed. Make sure you have set a valid value for hive.me
weixin_44729035的博客
09-18 1919
flink连接hive的相关配置和Embedded metastore is not allowed. Make sure you have set a valid value for hive.metastore.uris报错处理 1.在Maven中导入依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-hive_${scala.bin
Hive为什么要启用Metastore
weixin_42073629的博客
07-05 1203
相关概念 1.Metadata概念： 元数据包含用Hive创建的database、table等的元信息。元数据存储在关系型数据库中。如Derby、MySQL等。 2.Metastore作用： 客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。 bin/hin --访问--> metaStore...
hive本地mysql方式（local方式）配置及踩坑实录
逆天骚年的博客
04-12 2879
第一步：安装mysql第二步：上传mysql jdbc驱动程序到hive的lib目录下 并解压第三步：在hive-site.xml文件中加入以下内容：&lt;configuration&gt;&lt;property&gt;    &lt;name&gt;hive.metastore.warehouse.dir&lt;/name&gt;    &lt;value&gt;/user/hive_rem...
Hive Metastore原理及配置
代码人的自白
07-04 6845
一、Hive存储概念 1、Hive用户接口： 命令行接口（CLI）:以命令行的形式输入SQL语句进行数据数据操作 Web界面：通过Web方式进行访问。　　　　　 Hive的远程服务方式：通过JDBC等方式进行访问。　　 2、元数据存储 　将元数据存储在关系数据库中（MySql、Derby），元数据包括表的属性、表的名称、表的列、分区及其属性以及表数据所在的目录等。 3、解...
Hive安装配置指北（含Hive Metastore详解）
mojolang
05-06 1734
本文介绍Hive安装配置的整个过程，包括MySQL、Hive及Metastore的安装配置，并分析了Metastore三种配置方式的区别。网上有很多介绍Hive Metastore三种配置方式的文章，但是理解都不对，给读者造成了很多误导。本人详细阅读Apache和CDH官方文档中关于Hive Metastore的部分，并经过实践，终于填好各种坑，安装配置成功，遂记录下本文，供大家参考。 1.
hiveServer2、metastore以及client解读
遥望......
02-26 1218
hive服务架构图： Metastore通过Thrift API 对外提供访问，生态里的工具如：pig, MR, impala, presto, SparkSQL, NIFI 都可以通过Thrift接口访问Metastore， Metastore接口格式为：thrift://xxxxxxx:9083 HiveServer2对外提供JDBC/ODBC接口，供前端工具(DBeavor, SQL Squirrel, SQL Developer, DBVis)使用， 编程语言如：Python, Scala,
Hive metastore三种配置方式
tttjjjlll的专栏
03-28 202
Hive的meta数据支持以下三种存储方式，其中两种属于本地存储，一种为远端存储。远端存储比较适合生产环境。Hive官方wiki详细介绍了这三种方式，链接为：Hive Metastore。 一、本地derby 这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可 [code="java"] javax.jdo.option.Con...
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/metastore/api/Index
11-03
这个错误通常是由于缺少Hive Metastore API的依赖导致的。您可以尝试添加Hive Metastore API的依赖，例如： ```xml <groupId>org.apache.hive</groupId> <artifactId>hive-metastore</artifactId> ${hive....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值