HiveServer2的HA

最新推荐文章于 2024-07-12 08:15:00 发布
最新推荐文章于 2024-07-12 08:15:00 发布
阅读量455 收藏
点赞数
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32252917/article/details/78781687
版权
本文介绍了如何使用Zookeeper实现HiveServer2的高可用性，包括在Hive 2.0.0中配置HA的步骤，以及解决Hadoop2中的用户权限认证问题。通过设置Hive和Zookeeper的相关参数，可以在Zookeeper中注册两个HiveServer2实例，实现故障切换。同时，文章还提到了当遇到用户权限认证错误时的解决办法。
摘要由CSDN通过智能技术生成
在生产环境中使用Hive，强烈建议使用HiveServer2来提供服务，好处很多：


1. 在应用端不用部署Hadoop和Hive客户端；
2. 相比hive-cli方式，HiveServer2不用直接将HDFS和Metastore暴漏给用户；
3. 有安全认证机制，并且支持自定义权限校验；
4. 有HA机制，解决应用端的并发和负载均衡问题；
5. JDBC方式，可以使用任何语言，方便与应用进行数据交互；

6. 从2.0开始，HiveServer2提供了WEB UI。

如果使用HiveServer2的Client并发比较少，可以使用一个HiveServer2实例，没问题。

hive

但如果这一个实例挂掉，那么会导致所有的应用连接失败。


Hive从0.14开始，使用Zookeeper实现了HiveServer2的HA功能（ZooKeeper Service Discovery），Client端可以通过指定一个nameSpace来连接HiveServer2，而不是指定某一个host和port。本文学习和研究HiveServer2的高可用配置。使用的Hive版本为apache-hive-2.0.0-bin。

hive

如上图，在node1和node2上分别启用两个HiveServer2的实例，并通过zookeeper完成HA的配置


最低0.47元/天 解锁文章
浅汐王
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hiveserver2 HA高可用
ksh的博客
04-21 3077
Hiveserver2 HA高可用
hiveserver2和zookeeper的HA搭建
jianchow的博客
09-18 3529
在生产环境中使用Hive，强烈建议使用HiveServer2来提供服务，好处很多： 1. 在应用端不用部署Hadoop和Hive客户端； 2. 相比hive-cli方式，HiveServer2不用直接将HDFS和Metastore暴漏给用户； 3. 有安全认证机制，并且支持自定义权限校验； 4. 有HA机制，解决应用端的并发和负载均衡问题； 5. JDBC方式，可以使用任何语言，方便与应
hive高可用部署 HiveServer2高可用（HA）Metastore高可用（HA）基于Apache hive 3.1.2
weixin_52918377的博客
04-20 2251
HiveServer2 高可用 修改配置hive-site.xml,增加一下内容 <property> <name>hive.server2.support.dynamic.service.discovery</name> <value>true</value> </property> <property> <name>hive.server2.zookeeper.namespace</
大数据平台之HiveServer2
最新发布
youziguo的专栏
07-12 1134
HiveServer2 是 Apache Hive 的一个重要组件，用于为客户端提供统一的接口来访问 Hive 数据仓库。它提供了一个 JDBC、ODBC 和 Thrift 接口，支持多种客户端连接方式，并增加了多用户隔离和增强的安全性。
Hive集群高可用配置与impala集群高可用配置
m0_46168848的博客
09-20 736
使用Zookeeper实现了HiveServer2的HA功能（ZooKeeper Service Discovery），Client端可以通过指定一个nameSpace来连接HiveServer2，而不是指定某一个host和portMetastore高可用原理：Hive Metastore客户端始终使用第一个url连接到metastore服务器，如果Metastore服务器变得无法访问，则客户端从列表中随机选取一个url并尝试与之建立连接。
java通过zookeeper 高可用方式连接hiveserver2
刘涛的博客
09-06 2774
hiveserver2 高可用（HA）
HiveServer2负载均衡
qq_43688472的博客
10-18 1500
有多个HiveServer2服务时，可以借助Zookeeper服务实现访问HiveServer2的负载均衡，将HiveServer2的压力分担到多个节点上去。本文详细介绍HiveServer2负载均衡的配置及使用方法，请根据EMR集群（普通集群和Kerberos集群）的实际情况进行选择。在zooperker要创建相应的zooKeeperNamespace并赋权。就可以去进行连接连接的测试。
14-Hive-HA
02-21
Hive-HA思维导图，便捷整理思路，Hive的搭建方式有三种、hiveserver2的优点、架构、配置、启动、连接：beeline连接、jdbc连接
HIVE HA高可用性及详细使用
05-26
Hive HA是指Hive的高可用性架构，它主要通过多个HiveServer2实例来提供服务，确保即使某个节点出现故障，其他节点仍然能够提供服务，从而提高系统的稳定性和可靠性。在实际部署过程中，还需要考虑以下几点： 1. **...
2-8+Apache+Kyuubi+(Incubating)+在网易的深度实践.pdf
03-18
对于已对接HiveServer2的内部系统，Kyuubi通过兼容Hive JDBC接口，简化了接入流程，实现全生命周期管理，降低资源浪费。 在网易的一个具体案例中，某团队面临任务优化空间有限、资源成本高昂、不支持云原生和混部等...
hive高可用1
08-08
- 设置Hiveserver2监听的主机和端口：`hive.server2.thrift.bind.host`和`hive.server2.thrift.port`。 **Node4的hive-site.xml配置**： - 与Node2配置相似，但`hive.server2.thrift.bind.host`应设置为Node4的IP...
Apache-Hive-Cookbook
06-29
- **JDBC/ODBC 客户端**：通过 JDBC 或 ODBC 接口连接到 HiveServer2，支持 Java 等多种编程语言。 6. **编译 Hive 源码** - **准备工作**：安装 Maven 和 JDK。 - **操作步骤**： - 获取 Hive 的源码。 - ...
hiveserver2 的HA 配置
zeng6325998的博客
04-16 868
1、作用 如果只是使用一台服务来启动hiveserver2，那么如果hiveserver2挂掉便不能提供jdbc的支持。hive 支持hiveserver2 HA,用于进行负载均衡和高可用 Hive从0.14开始，使用Zookeeper实现了HiveServer2的HA功能，Client端可以通过指定一个nameSpace来连接HiveServer2，而不是指定某一个host和port。 2、具...
Apache Kyuubi调研
美丽的毛毛草
07-29 6066
Apache Kyuubi调研1. QuickStart1.1 下载安装启动1.2 打开连接1.3 执行语句1.4 停止服务1.5 用DBeaver进行连接1.6 用java的jdbc进行连接2. Kyuubi 高可用调研2.1 非HA模式下，使用内嵌Zookeeper2.2 Kyuubi高可用2.2.1 负载均衡2.2.2 配置2.2.3 AQS1）SparkContext初始化失败**2）Zookeeper服务发现模式登陆报错**3. 概述3.1 架构3.1.1 架构概述3.1.2 统一接口3.1.3
hiveServer2-配置HA
weixin_50665144的博客
03-31 191
hiveServer2-配置HA 前提 hiveserver2和zookeeper可以正常使用，zookeeper配置单机模式即可。此处假设zookeeper地址为192.168.**.112 HA配置与启动 hive-site.xml配置，添加如下内容： <property> <name>hive.server2.support.dynamic.service.discovery</name> <value>true</value> <
Hive高可用配置
Leeyehong_self的专栏
03-31 5264
Hive 高可用 1. HiveServer2高可用及Metastore高可用 使用Zookeeper实现了HiveServer2的HA功能（ZooKeeper Service Discovery），Client端可以通过指定一个nameSpace来连接HiveServer2，而不是指定某一个host和port Metastore高可用原理： Hive Metastore客户端始终使用第一个url连接到metastore服务器，如果Metastore服务器变得无法访问，则客户端从列表中随机选取一个url并尝
如何使用Zookeeper实现HiveServer2的HA
hongtaq156136的专栏
02-01 5090
之前Fayson介绍了《如何使用HAProxy实现HiveServer2负载均衡》，这种方案也有一些弊端，如HAProxy本身就是单点，虽然可以通过Keepalived来实现HAProxy的高可用，但这样配置会比较麻烦并且需要多部署两个组件，增大了系统运维的复杂度。在大数据平台中Zookeeper是一个必不可少且自身具有高可用保证的组件，本文主要讲述如何使用Zookeeper实现HiveServe...
hive 3.1.1 高可用集群搭建（与zookeeper集成）搭建笔记
liuhuabing760596103的专栏
04-11 3702
一、简介 1. hive 三个节点 分别在hdp01、hdp02 、hdp03 2. zookeeper 5个节点 分别在 hdp04、hdp05、hdp06、hdp07、hdp08 3. hadoop 7个节点...
怎么获取Hiveserver2的IP地址
06-09
获取 Hiveserver2 的 IP 地址需要您了解您的 Hadoop 集群的网络拓扑和配置。一般来说，Hiveserver2 运行在 Hadoop 集群的一台主机上，您可以通过以下方式获得 Hiveserver2 的 IP 地址： 1. 登录到 Hadoop 集群的任何一台主机上。 2. 执行以下命令查找 Hiveserver2 进程的主机名： ``` ps -ef | grep hiveserver2 ``` 3. 从命令输出中找到 Hiveserver2 进程的主机名。 4. 执行以下命令查找主机名对应的 IP 地址： ``` nslookup <主机名> ``` 5. 从命令输出中找到主机名对应的 IP 地址。 注意：如果您的 Hadoop 集群使用了 Hadoop HA（高可用）配置，Hiveserver2 可能会运行在多个主机上。在这种情况下，您需要查找 Hiveserver2 HA 集群的虚拟 IP 地址，而不是单个主机的 IP 地址。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值