HiveServer2 配置 HA 及在 HA 模式下的连接

最新推荐文章于 2024-05-08 02:58:43 发布
最新推荐文章于 2024-05-08 02:58:43 发布
阅读量2.3k 收藏 2
点赞数
分类专栏： hive 文章标签： hive HA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuchuanchen/article/details/88717390
版权
本文介绍了如何配置HiveServer2的高可用(HA)模式，该模式依赖Zookeeper集群。在HA模式下，通常需要启动两个或更多HiveServer2实例。详细步骤包括修改HiveServer2配置文件并添加相关设置，然后无特定顺序地启动服务。在HA模式下，可通过JDBC利用Zookeeper自动发现并连接到活动的HiveServer2。同时，文章还提到了非HA方式的连接选项。
摘要由CSDN通过智能技术生成

HiveServer2 HA 模式依赖 Zookeeper，需要预先安装好 ZK 集群。HA 模式一般需要启动2个以上的 HiveServer2，当然启动一个也可以连接。

配置 HA 模式

1.修改 HiveServer2 的hive/conf/hive-site.xml 文件，添加下面4个配置

<property>
    <name>hive.server2.support.dynamic.service.discovery</name>
    <value>true
最低0.47元/天 解锁文章
yuchuanchen
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop集群之Hive HA 安装配置
蘑菇丁的专栏
10-13 2631
Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据。其在Hadoop的架构体系中承担了一个SQL解析的过程，它提供了对外的入口来获取用户的指令然后对指令进行分析，解析出一个 MapReduce程序组成可执行计划，并按照该计划生成对应的MapReduce任务提交给Hadoop集群处理，获取最终的结果。元数据——如表模式
HiveServer2配置HA
RotKang
11-30 2253
软件环境 CentOS 6.8 Hadoop 2.6.0-cdh5.9.0 Hive 1.1.0-cdh5.9.0 Zookeeper 3.4.5-cdh5.9.0工作原理 常规连接 HiverServer HA 配置Hive HA 前置条件先安装好Hadoop、Zookeeper vi $HIVE_HOME/conf/hi
14-Hive-HA
一个孤独漫步者的遐想的博客
02-22 250
Hive-HA hive的搭建方式有三种： 1、Local/Embedded Metastore Database (Derby) 2、Remote Metastore Database 3、Remote Metastore Server hiveserver2的优点如下： 1、在应用端不需要部署hadoop和hive的客户端 2、hiveserver2不用直接将hdfs和metastore暴露给...
构建高可用Hive HA和整合HBase开发环境（一）
pysense的博客
11-16 748
文章目录1、Hive Requirements2、Hive 环境部署2.1 配置环境变量2.2 配置hive-env.sh和hive-site.xml2.3 配置Hive的运行日志2.4 加入mysql connector2.5 在mysql建表2.6 初始化hive schema2.7 在mysql上查看hive创建的元表2.8 启动hive3、hive建表测试3.1 创建一个员工表3.2 h...
hadoop-ha后的hive配置的三种模式
Pioneer_1的博客
03-20 1033
1.本地模式 首先node1、2、3进入zookeeper目录启动启动zookeeper， bin/zkServer.sh start 之后新打开一个node3窗口进入zookeeper目录启动zookeeper客户端 bin/zkCli.sh 然后再node1进入hadoop目录启动hadoop sbin/start-all.sh 在node4机器上、/data/目录下创建hive文件夹 ...
HiveServer2的HA
浅汐
12-12 458
在生产环境中使用Hive，强烈建议使用HiveServer2来提供服务，好处很多： 1. 在应用端不用部署Hadoop和Hive客户端； 2. 相比hive-cli方式，HiveServer2不用直接将HDFS和Metastore暴漏给用户； 3. 有安全认证机制，并且支持自定义权限校验； 4. 有HA机制，解决应用端的并发和负载均衡问题； 5. JDBC方式，可以使用任何语言，
CDH6.x HiveServer2 HA配置
蝈蝈
11-22 1888
1 CDH6.X HiveServer2 HA 官方文档 1.1 修改代理token的存储实现类 修改为org.apache.hadoop.hive.thrift.DBTokenStore 1.2 增加HiveServer2 实例 1.3 在配置中搜索到 hive-site.xml 的 HiveServer2 高级配置代码段（安全阀） 配置如下两项 <!--默认为false，配置为true HiveServer2会动态分配客户端--> <property> <name&gt
hiveserver2高可用机制解析
u010845306的专栏
11-26 3069
文章目录hiveserver2 ha-zk机制(hive-1.1版本)1.服务端:1.1 hiveserve2 mainClass 启动流程1.2根据启动命令行获取具体服务1.3 初始化server.init(conf) 启动过程设置钩子任务1.4 服务退出 hiveServer2.stop(), 移除服务信息2.客户端连接过程(JDBC):2.1 获取hiveserver2连接2.2 Driv...
Hive 高可用HA搭建_hive ha，头条软件测试面试
2401_84300128的博客
04-17 709
Hive从0.14开始，使用Zookeeper实现了HiveServer2的HA功能（ZooKeeper Service Discovery），Client端可以通过指定一个nameSpace来连接HiveServer2，而不是指定某一个host和port。如果使用HiveServer2的Client并发比较少，可以使用一个HiveServer2实例。但如果这一个实例挂掉，那么会导致所有的应用连接失败。
HIVE HA高可用性及详细使用
05-26
HIVE HA高可用性及详细使用HIVE HA高可用性及详细使用HIVE HA高可用性及详细使用HIVE HA高可用性及详细使用
搭建hadoop的HA集群模式（hadoop2.7.3+hive+spark）
weixin_30387423的博客
10-12 247
参考：http://blog.51cto.com/12824426/2177663?source=drh 一、集群的规划 Zookeeper集群：192.168.176.131 （bigdata112）192.168.176.132 （bigdata113）192.168.176.135 （bigdata114） Hadoop集群：192.168.176.131 （bigdata112） N...
hive metastore ha 配置
刘光华的专栏
09-18 3893
1.需要在两台或多台机器上启动hive metastore 服务，这台机器上hive配置如下 javax.jdo.option.ConnectionURL jdbc:mysql://10.140.60.53:3306/hive?createDatabaseIfNotExist=true JDBC connect string for a JDBC metastor
HiveServer2的HA理解 & 配置实现
呼呼的小窝
04-02 3663
好处 &amp; 工作机制 使用HiveServer2的好处： 1. HiveServer2不用直接将HDFS和Metastore暴漏给用户（对比于使用hive-cli方式） 2. 通过HA机制（从Hive 0.14开始引入该机制），解决了负载均衡和并发的问题 3. 可以在Client端通过JDBC的方式，发起操作，与数据进行交互 配置HA之前，HiveServer2的工作机制： ...
HA-hadoop-3.2.1下配置hive-3.1.2的hive及hiveserver2
xiaoliuxxs
10-23 1931
第二讲
2024年Javascript必须掌握的js库_snabbt，2024年最新从新手到Flutter架构师一篇就够
最新发布
2401_84558914的博客
05-08 936
它提供一种简单的方式来生成常见的图形，支持几乎所有类型的图表，包括折线图、柱形图、饼图等，以及地毯图和基本的线性回归等功能。FancyForm 是一个非常强大的 JavaScript 库，可以作为 checkbox 和 radio button 的替代品，能生成非常漂亮的 checkbox 和 radio button，并支持几乎所有浏览器，该 JavaScript 库需要 MooTools JavaScript 框架的支持。Blip是一个针对网络音频API的JavaScript库。
通过java程序对kudu表进行权限操作
梦忆故城的博客
08-17 1174
对kudu表进行权限操作除了上述通过impala-shell和hue界面进行SQL操作外，还可以通过Java client、C++ client、Python client操作kudu表，这里介绍通过java程序对kudu表进行权限操作。 一、Impala jdbc连接hive和kudu准备工作 1.配置环境IDEA和JDK 此处不做说明，请自行完成。 2.IDEA搭建maven安装、下载...
Hive 高可用HA搭建
狂奔的乌牛的博客
11-12 2588
1、使用HiveServer2提供HA的好处 1. 在应用端不用部署Hadoop和Hive客户端； 2. 相比hive-cli方式，HiveServer2不用直接将HDFS和Metastore暴漏给用户； 3. 有安全认证机制，并且支持自定义权限校验； 4. 有HA机制，解决应用端的并发和负载均衡问题； 5. JDBC方式，可以使用任何语言，方便与应用进行数据交互； 6. 从2.0开始，HiveServer2提供了WEB UI。 Hive从0.14开始，使用Zookeeper实现了Hive.
Impala进阶
凉茶铺的博客
10-27 695
介绍了Impala的负载均衡和一些优化细节
IBM小机HA配置全步骤详解：主备模式
"该文档详细介绍了在IBM小机上配置主备高可用性(HA)的步骤，包括HA软件的安装、系统补丁更新以及心跳盘的创建和集群的配置。" IBM高可用性(HA)配置对于确保关键业务系统的连续运行至关重要。以下是配置过程的详细...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值