CDH6.x HiveServer2 HA配置

最新推荐文章于 2024-11-30 17:27:41 发布
最新推荐文章于 2024-11-30 17:27:41 发布
阅读量1.9k 收藏 5
点赞数 1
分类专栏： HiveServer2 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Michael312917/article/details/109911603
版权
本文档详细介绍了CDH6.x环境下如何配置HiveServer2的高可用性，包括修改代理token存储实现类、增加HiveServer2实例、配置HiveServer2高级设置，并通过Zookeeper客户端和beeline进行验证。同时，文中还提到了遇到Out of Memory错误时的解决办法，即调整HiveServer2的堆大小。
摘要由CSDN通过智能技术生成

1 CDH6.X HiveServer2 HA

官方文档

1.1 修改代理token的存储实现类

在这里插入图片描述
修改为org.apache.hadoop.hive.thrift.DBTokenStore
在这里插入图片描述

1.2 增加HiveServer2 实例
1.3 在配置中搜索到 hive-site.xml 的 HiveServer2 高级配置代码段（安全阀）

配置如下两项

<!--默认为false，配置为true HiveServer2会动态分配客户端-->
<property
最低0.47元/天 解锁文章
CDH大数据平台 所有 HiveServer2 角色必须在相同的主机上有一个 Spark 角色（如 Gateway）以接收 Spark 配置。在角色正常运行前，您必须部署 Spark 客户端配置
80后大叔爱学习
10-15 665
hive on spark修改计算引擎报错解决方法
cdh的hive配置文件位置_CDH6配置 Atlas，及 Hive Hook
weixin_39789042的博客
12-22 599
因为 CDH 社区版不能使用 Navigator，所以需要自己集成一个Apache Atlas。版本说明20200818 Updated: 目前最新版是2.1.0，如果 Hive 版本是3.1一下的，可能存在不兼容问题。在编译前修改下源码，参考这篇。Atlas: 2.0 DownloadCDH: 6.3.1 (Parcels)其它Atlas 依赖 Solr(或 ES)、HBase和 Kafka 来...
Configuring HiveServer2 for CDH
ywq20011的博客
09-15 589
使用hiveserver2之间你必须做如下的配置变动，配置如果失败将产生不可预料的行为 。 Warning: HiveServer1 is deprecated in CDH 5.3, and will be removed in a future release of CDH. Users of HiveServer1 should upgrade to HiveServer2 as
Hive高可用配置
最新发布
别人笑我太疯癫，我笑他人看不穿。
11-30 524
在hive的商用上没有集群一说，而且它本身也不是数据库，只是hadoop的数据sql化工具，但是hive可以配置高可用，通常业内对元数据服务会开5个，而HS2服务开3个，来保证hive服务的高可用。当然上面这个命令还是能用的，只是但和直接访问一个namenode的9000端口一样，是直接访问一个定死的服务，而高可用的连接路径需要使用如下格式。随后将hive整体同步到高可用服务对应的节点上，并在对应的节点上，使用下面的命令启动对应的服务。格式，即使你指定连接的库也要在末尾有一个斜杠。
cdh的hive配置文件位置_配置CDH6使用文件存储HDFS
weixin_39685392的博客
12-22 1177
CDH6 Hive服务的元数据存储在Mysql，进入存储Hive元数据的Mysql数据库，修改DBS表和SDS表相应的值，如下所示。说明 在进行元数据修改的时候，建议使用root用户，或者其他有权限的用户，避免因为权限问题导致修改失败。其中mysql服务的root用户密码是在搭建CDH服务时设置的密码。MySQL [(none)]> use cdh6hive ;#修改表“DBS”中的数据My...
CDH 6.X开启NameNode HA（高可用性）
h952520296的博客
07-22 1247
HDFS NameNode 的健康关系整个集群是否能正常运行，生产为了集群的高可用必须开启HA。社区版需要手动修改配置文件进行开启。使用cloudera manager只需在界面根据向导执行即可。 操作步骤: 在HDFS- 操作 -选择启用HA 填写nameservice名称 这个名称随便填写 不知道写什么默认就行了 3.选择另外一台服务器安装namenode ，三个或5个节点安装journalnode 4.配置namenode,journalnode数据目录 这个目录自己配置就可以了
hiveserver2高可用机制解析
u010845306的专栏
11-26 3137
文章目录hiveserver2 ha-zk机制(hive-1.1版本)1.服务端:1.1 hiveserve2 mainClass 启动流程1.2根据启动命令行获取具体服务1.3 初始化server.init(conf) 启动过程设置钩子任务1.4 服务退出 hiveServer2.stop(), 移除服务信息2.客户端连接过程(JDBC):2.1 获取hiveserver2连接2.2 Driv...
基于Spark2.x新闻网大数据实时分析可视化系统项目
热门推荐
xl.zhang的博客
05-03 7万+
本次项目是基于企业大数据经典案例项目（大数据日志分析），全方位、全流程讲解 大数据项目的业务分析、技术选型、架构设计、集群规划、安装部署、整合继承与开发和web可视化交互设计。项目代码托管于github，大家可以自行下载。一、业务需求分析捕获用户浏览日志信息实时分析前20名流量最高的新闻话题实时统计当前线上已曝光的新闻话题统计哪个时段用户浏览量最高二、系统架构图设计三、系统数据流程设计四、集群资源...
【CDH 6.3.1 集成Atlas】
li917661025的博客
09-23 1111
本文详细介绍了如何将CDH6.3.1与Apache Atlas 2.1.0进行集成配置，包括Atlas源码的修改、编译、安装，以及与HBase、Solr、Kafka的集成，以及到Hive的集成步骤，确保数据治理和元数据管理的有效性。
HIVE 双机集群HA-部署
凉城凉心凉忆悲
01-10 1114
HIVE双机HA-部署 1.1、系统环境初始化 防火墙关闭： server iptables stop chkconfig iptables off selinux关闭：   用户创建： vim yonghu.txt hbase hdfs hive impala Impala kudu Kudu spark wxl zookeeper   #!/bin/sh
hiveserver2 CDH5.7.1
wonder的地下室
11-22 1060
hiveserver2 CDH5.7.1在jdk1.8上无法启动，需要降到1.7或着升级到cdh5.8.3
cdh5-6-Hive版本之间不兼容特性
10-16
cdh5和cdh6，Hive版本之间不兼容的特性。要做升级的朋友可以看看，主要是union和union all
cdh5.5.4 集群搭建 【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark】
10-31
cdh5.5.4 集群搭建 【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark】全套高可用环境搭建，还有自动化启动脚本。只需要复制粘贴命令，就可以完成。3台机器。相关资源可以留言发邮件，我发资料。cdh5.5.4 具体资源见截图。
CDH6.0、6.1篇：8、CDH的 hive on spark配置及解析、优化
laughing1997的博客
03-29 7980
分三个章节 1、版本展示 2、CDH安装spark 3、优化配置信息 ----------------------分割线---------------------------------------- 1、版本展示 1.所有版本：https://www.scala-lang.org/download/all.html 2.11.8版本：https://www.scala-lang.org/dow...
hiveserver2和zookeeper的HA搭建
jianchow的博客
09-18 3654
在生产环境中使用Hive，强烈建议使用HiveServer2来提供服务，好处很多： 1. 在应用端不用部署Hadoop和Hive客户端； 2. 相比hive-cli方式，HiveServer2不用直接将HDFS和Metastore暴漏给用户； 3. 有安全认证机制，并且支持自定义权限校验； 4. 有HA机制，解决应用端的并发和负载均衡问题； 5. JDBC方式，可以使用任何语言，方便与应
cdh集群hive 启用HA
wflh323的专栏
08-12 2160
hive 在离线分析，数仓中是最常用的工具，业务人员不需要熟悉mr，编程基础就可以通过sql操作数据。hive 的性能及稳定性在生产中必须保证。hive可以通过HAPROXY进行多节点负载均衡来达到目的。 hive Metastore 开启HA 1. 进入hive服务配置， 搜索DBTokenStore，选择 org.apache.hadoop.hive.thrif...
基于CDH环境下的Hive数仓配置及优化
小叮当的博客
10-12 2129
Hive数仓及优化
flink读取不到文件_Flink 作为现代数据仓库的统一引擎：Hive 集成生产就绪
weixin_39946429的博客
12-23 217
在2020年，你的数据仓库和基础设施需要满足哪些需求？我们总结了几下几点：首先，当下的企业正快速转向更实时化的模式，这要求企业具备对线上流式数据进行低延迟处理的能力，以满足实时(real-time)或近实时(near-real-time)的数据分析需求。人们对从数据产生到数据可用之间延迟的容忍度越来越低。曾经几个小时甚至几天的延误不再被接受。用户期待的是几分钟甚至几秒钟的数据端到端体验。第二，数据...
cdh版本的hive安装以及配置
weixin_30726161的博客
02-08 976
hive依赖hadoop 需要的软件包：hive-0.13.1-cdh5.3.6.tar.gz 、hadoop-2.5.0-cdh5.3.6.tar.gz 1、hadoop的安装步骤请访问： 　　　　http://www.cnblogs.com/xningge/articles/8433297.html 2、将hive软件包上传到Linux系统指定的目录：/opt/softwares/cd...
CDH6.x环境下Apache Hudi的版本适配与改造指南
"Apache Hudi 兼容CDH6.x 修改记录v1.0.pdf" Apache Hudi 是一个用于大数据湖构建的开源框架，旨在提供高效的数据更新、查询和管理能力。然而，它与Cloudera Data Hub (CDH) 6.x 集群的默认组件版本存在不兼容的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值