Hive_Hive架构 与 3种连接 metastore 的方式

最新推荐文章于 2023-05-18 09:22:50 发布
最新推荐文章于 2023-05-18 09:22:50 发布
阅读量2.5k 收藏 4
点赞数
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010003835/article/details/105256807
版权

 

首先附上一个 Hive 的整体架构图

 

 

可以看到分别有以上几种角色。

这就决定了我们在连接 metastore 的时候，如何去做连接，可以分为下面三种方式。

1.内嵌derby方式

2.直连metastore方式

3.通过thrift server 连接 metastore 的方式

 

 

1.内嵌derby方式

 

 

2.直连metastore方式

 

 

3.通过thrift server 连接 metastore 的方式

 

 

由于加了 Metastore Server 

      所以我们在排查问题的时候，可以通过 SHOW DATABASES 来排查具体那个服务出了问题，是 metastore (例如 MySQL)本身， 还是 metastore server 

 

高达一号
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive Metastore、Hive server和Hive thrift服务
JustinMars的博客
07-17 746
Hive Metastore、Hive server和Hive thrift服务介绍
hive_site.zip
10-08
hive_site.xml，供参考。 hive_site.xml，供参考 hive_site.xml，供参考 hive_site.xml，供参考 hive_site.xml，供参考 hive_site.xml，供参考
详解：Hive的MetaStore和三种配置方式
qq_43688472的博客
06-24 1501
一：Metadata概念： 元数据包含用Hive创建的database、table等的元信息。元数据存储在关系型数据库中。如Derby、MySQL等。 二：Metastore作用： 客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接met...
hive_jdbc_2.6.2.1002.zip
08-22
hive_jdbc_2.6.2.1002
hive的metastore无法连接解决方案
m0_46914845的博客
08-28 1419
hive的metastore无法连接解决方案
Hive Metastore源码新增Thrift API方法
书忆江南的IT博客
08-02 2685
如果工作中使用了m1芯片Mac，则protobuf等底层通信和序列化相关的老版本jar包没有提供osx_aarch64版本（例如hive3依赖的2.5.0版本），本地编译无法通过，需要利用到Linux上的thrift命令行来对hive源码进行编译和自动代码生成。同时还有.cpp、.php等其他语言文件的改动和生成，如果不需要实现其他语言的接口，可以把除.java以外的文件改动都撤回（例如使用。从rpc通信的client和server端角度，目前完善的是server端的代码，如果。...
Hive metastore无法启动
LuckyTHP
03-02 5226

 1。首先将mysql的bind-address = 0.0.0.0这个配置改成0.0.0.0 我的mysql配置文件在/etc/mysql/my.cnf这个里面。大家可以根据自己的情况。 2。com.mysql.cj.core.exceptions.CJCommunicationsException: Communications link failure 首先你...
SparkSession如何连接Hive Metastore？
penriver的博客
04-25 3934
在spark编程中，因为数据存储在hdfs时，需要连接hive metastore，基于spark sql进行数据分析。 1. 连接hive metastore SparkSession连接Hive Metastore，可以通过指定配置文件hive-site.xml【此将文件放在classpath下】, 但有时在本地调试时，不想指定配置文件或没有配置文件hive-site.xml，做法如下 注意： 1. 在实际生产环境中，不需要在sparkSession中配置hive.metastore....
hive 配置metastore三种方式
qq_43192537的博客
11-29 2954
hive 配置metastore三种方式
Hive的Metastore服务和Hiveserver2服务的详细说明
热门推荐
weixin_48833605的博客
12-13 1万+
Hive的Metastore服务和Hiveserver2服务的详细说明 一.Metastore服务  1.什么时候需要开启和使用Metastore服务呢？   首先我们先来了解Hive获取Mysql元数据的两种方式：    ①Hive直连MySQL获取元数据     启动方式：只需直接启动Hive客户端，即可连接    ②Hive先连接Metastore服务，再通过Metastore服务连接MySQL获取元数据     启动方式：      ①先启动Metastore服务      ②在启动Hive客户端
如何扩展Hive Metastore Thrift RPC服务接口
None
11-19 358
Hive 在经历十几年的发展，已经获得广泛应用，随着版本升级，不同版本之间的协议接口会发生一些变化，尽管HMS在尽量保持向前兼容，但在大版本变更时，仍然不能保证完全兼容，比如HMS2到HMS3，有关索引（Index）相关的接口变成了约束（constraint），比如下图中左边是HMS3接口定义，右边是HMS2接口定义：这样当使用Hive 2的Client去访问HMS 3 的服务时候，就会报无效方法...
连接hive依赖的jar包_hive连接方式
01-05
DateGrip连接Hive时添加驱动文件时使用
Hive_JDBC.zip_hive java_hive jdbc_hive jdbc pom_java hive_maven连
09-23
hive JDBC连接实例 maven工程
Hive_UDF.rar_hive_sqoop
09-24
sqoop、hive命令的封装，可配置化，数据的导入导出功能
JAVA连接kerberos认证的Metastore
weixin_48231806的博客
08-30 813
JAVA连接kerberos认证的Metastore登陆kerberos认证登陆metastore 登陆kerberos认证 try { //登录kerberos String krb5File = paraConfig.getValue("Kerberos.krb5"); String keyUser = paraConfig.getValue("Kerberos.keyuser"); String keyPa
hive jdbc/metastore客户端方式连接开启kerberos的hive集群api
qq_24186017的博客
07-29 1634
pom依赖 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>3.1.2</version> </dependency> <dependency> <groupId>org.apache.hive</group
Hive的Metastore服务和Hiveserver2服务的说明
最新发布
奔跑的蜗牛的博客
05-18 721
Metastore的作用：客户端连接metastore服务，metastore再去连接Mysql数据库来存取元数据。有了Metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道Mysql数据库的用户名和密码，只需要连接metastore服务即可。1.2、Hive先连接Metastore服务，再通过Metastore服务连接Mysql获取元数据。如果我们想通过jdbc的方式来连接hive，那么我们就需要开启Hiveserver2服务了。启动方式：只需直接启动Hive客户端，即可连接。
hive metastore服务启动失败，连接服务失败、拒绝连接等
东城庞太师
09-14 5126
目录 问题描述：访问或者启动hive 服务时，失败！ 解决：hive.metastore.schema.verification 改为false 问题描述：访问或者启动hive 服务时，失败！ MetaException(message:Version information not found in metastore. ) 查看服务是否存在：ps -ef |grep HiveMetaStore 启动服务：hive --service metastore 解决：hive.metastor
胡海洋：Hive Metastore Federation 在滴滴的实践
weixin_34344677的博客
05-06 663
出品 | 滴滴技术作者 | 胡海洋前言：本文来自滴滴基础平台大数据架构离线引擎组，针对内部hive元数据上亿级别存储方案的实践；该架构体系从根本上提高了hive元数据服务的稳定性及扩展性问题。▍背景Apache Hive 是基于 Apache Hadoop 之上构建的数据仓库，提供了简单易用的类 SQL 查询语言，适合对大规模数据进行存储、查询操作，被广泛使用。Hive 元数据 Metadata ...
hive metastore连接minio
04-04
为了将Hive Metastore连接到Minio对象存储，您需要执行以下步骤： 1. 安装S3A文件系统插件 S3A是一个基于Hadoop的文件系统插件，它允许您使用Hadoop和Hive与S3和Minio等对象存储系统进行交互。您需要安装S3A文件系统插件以便将Hive Metastore连接到Minio。您可以从以下位置下载最新版本的插件：https://hadoop.apache.org/docs/current/hadoop-aws/tools/hadoop-aws/index.html 2. 配置Hive Metastore连接到Minio 在Hive Metastore的配置文件中，您需要添加以下配置项来将其连接到Minio： ``` javax.jdo.option.ConnectionURL=jdbc:mysql://<mysql_host>:<mysql_port>/<hive_metastore_db>?createDatabaseIfNotExist=true javax.jdo.option.ConnectionDriverName=com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName=<username> javax.jdo.option.ConnectionPassword=<password> hive.metastore.warehouse.dir=s3a://<minio_bucket_name>/<hive_warehouse_dir> hive.metastore.schema.verification=false ``` 其中，`<mysql_host>`和`<mysql_port>`是您的MySQL数据库的主机名和端口号，`<hive_metastore_db>`是Hive Metastore数据库的名称。`<username>`和`<password>`是连接数据库所需的用户名和密码。`<minio_bucket_name>`和`<hive_warehouse_dir>`是Minio存储桶和Hive仓库目录的名称。 3. 测试连接 完成上述配置后，您可以运行以下命令测试连接是否成功： ``` hive> show tables; ``` 如果命令成功执行并返回您的表列表，则表示连接已成功建立。 注意：在连接到Minio时，您需要使用S3A文件系统插件的配置而不是S3文件系统插件的配置。如果您使用了S3文件系统插件的配置，则您的连接将无法正常工作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值