cdh集群hive 启用HA

最新推荐文章于 2023-11-28 17:41:34 发布
最新推荐文章于 2023-11-28 17:41:34 发布
阅读量2.1k 收藏 3
点赞数 1
分类专栏： HA CDH hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wflh323/article/details/99292272
版权
本文介绍了如何在CDH集群上启用Hive的高可用性，包括Hive Metastore的HA配置和Hive Server2的负载均衡设置。通过使用DBTokenStore和HAPROXY，可以实现多节点的负载均衡，确保Hive服务的稳定性和性能。
摘要由CSDN通过智能技术生成

   hive 在离线分析，数仓中是最常用的工具，业务人员不需要熟悉mr，编程基础就可以通过sql操作数据。hive 的性能及稳定性在生产中必须保证。hive可以通过HAPROXY进行多节点负载均衡来达到目的。

   hive Metastore 开启HA

        1. 进入hive服务配置， 搜索DBTokenStore，选择 org.apache.hadoop.hive.thrift.DBTokenStore，如图

        

        2. 进入“实例”,添加hive  metastore角色实例

        

         3. 重启服务

  hive server2 启用负载均衡

         1. 安装haproxy

              yum install -y haproxy

         2. 进入hive 服务 ，实例，选择添加多个hive server2实例

             

            3

最低0.47元/天 解锁文章
kevin_wf
关注
专栏目录
使用IDEA工具连接CDH集群里面的hive组件
10-06
本篇文章将详细介绍如何使用IDEA连接到CDH（Cloudera Distribution Including Apache Hadoop）集群中的Hive组件，以便进行Hive SQL的编写、测试和执行。 首先，我们需要创建一个Java工程。在IDEA中，点击“File” -...
Hive HA配置手把手详解-基于Haproxy配置cdh集群的HiveServer2负载均衡
xiaohai798的专栏
02-26 1624
背景需求 hive 在离线分析，数仓中是最常用的工具，业务人员不需要熟悉mr，编程基础就可以通过sql操作数据。hive 的性能及稳定性在生产中必须保证。hive可以通过HAPROXY进行多节点负载均衡来达到目的。 前提环境准备 可用的基于cdh搭建的hadoop集群，并且Hdfs 、yarn、hive等安装完毕可用，cloudera manager可用 进入hive服务配置，添加两个及以上的hive metastore和server yum -y install ha...
CDH6.x HiveServer2 HA配置
蝈蝈
11-22 1942
1 CDH6.X HiveServer2 HA 官方文档 1.1 修改代理token的存储实现类 修改为org.apache.hadoop.hive.thrift.DBTokenStore 1.2 增加HiveServer2 实例 1.3 在配置中搜索到 hive-site.xml 的 HiveServer2 高级配置代码段（安全阀） 配置如下两项 <!--默认为false，配置为true HiveServer2会动态分配客户端--> <property> <name&gt
cdh版本的hive安装以及配置
weixin_30726161的博客
02-08 966
hive依赖hadoop 需要的软件包：hive-0.13.1-cdh5.3.6.tar.gz 、hadoop-2.5.0-cdh5.3.6.tar.gz 1、hadoop的安装步骤请访问： 　　　　http://www.cnblogs.com/xningge/articles/8433297.html 2、将hive软件包上传到Linux系统指定的目录：/opt/softwares/cd...
基于CDH环境下的Hive数仓配置及优化
小叮当的博客
10-12 2082
Hive数仓及优化
CDH 6.X开启NameNode HA（高可用性）
h952520296的博客
07-22 1202
HDFS NameNode 的健康关系整个集群是否能正常运行，生产为了集群的高可用必须开启HA。社区版需要手动修改配置文件进行开启。使用cloudera manager只需在界面根据向导执行即可。 操作步骤: 在HDFS- 操作 -选择启用HA 填写nameservice名称 这个名称随便填写 不知道写什么默认就行了 3.选择另外一台服务器安装namenode ，三个或5个节点安装journalnode 4.配置namenode,journalnode数据目录 这个目录自己配置就可以了
hive2.1.1-cdh6.3.2
05-08
Hive 2.1.1是Hive的一个重要版本，而CDH6.3.2是Cloudera发行的商业版Hadoop平台，它包含了对Hive 2.1.1的集成和支持。这个压缩包文件“hive2.1.1-cdh6.3.2”包含了与CDH6.3.2兼容的Hive JDBC驱动程序和其他相关组件...
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
为最大化集群资源利用率，推荐启用动态资源分配功能。这样可以在作业运行过程中根据实际需求动态调整Executor的数量，从而更高效地响应多用户并发查询。 - 设置`spark.executor.instances`到最大值，以便充分发挥...
CDH集群部署.doc
03-21
CDH集群部署方案 本文档描述了在虚拟机上的CDH集群部署方案，该方案用于测试环境，同时也可以作为实际环境部署的指导。该方案采用VMware Workstation Pro 12虚拟机环境，虚拟三台机器，一主两备；主节点4G内存，50G...
HiveMetaStore高可用性(HA)配置
RotKang
12-01 7882
软件环境 Hadoop 2.6.0-cdh5.9.0 Hive 1.1.0-cdh5.9.0 Zookeeper 3.4.5-cdh5.9.0工作原理 常规连接 MetaStore HA 前置条件 Hadoop、Zookeeper、Hive是可用的前提Hive Server MetaStore启动 跟单节点配置一样，只不过在多台服务器
CDH集群Hadoop启用HA后，Hive查询不了，无法加载元数据问题
CSDN_XIAOXIA_的博客
04-19 632
Hadoop启用HA以后，很多人会遇到hive表查询不了的相关问题，出现该问题的原因是由于hive元数据的问题，在Hive数据库中有两张表： DBS ： Hive数据仓库的总路径 SDS ： Hive每张表对应的路径 数据库中保存了原来的hdfs的路径，修改成HA对应的别名即可。 Mysql变更规范： update 表名 set 字段名=REPLACE (字段名,‘原来的值’,‘要修改的值’) 修改范例： UPDATE DBS SET DB_LOCATION_URI=REPLACE (DB_LOCA
【运维】hive 高可用详解： Hive MetaStore HA、hive server HA原理详解；hive高可用实现
hiliang521的博客
11-28 2892
【运维】hive 高可用详解： Hive MetaStore HA、hive server HA原理详解；hive高可用实现
java cdh hbase_CDH中配置启用 HBase 授权及测试
weixin_30558777的博客
02-23 625
HBase启用授权配置Hbase -> 配置 -> 搜索 auth -> 勾选 HBase 安全授权 -> 保存更改imageHbase -> 配置 -> 高级 -> 搜索 hbase-site.xml -> 添加配置 -> 保存更改hbase.security.exec.permission.checkstrueimageHbase -&gt...
CDH 中hive的 Hive Metastore Server中JVM 堆栈内存溢出问题分析
hcq_lxq的博客
12-09 2871
问题： 在操作BDR迁移hive数据的过程中。新集群的CM界面突然无法显示，最中后台找到对应BDR任务手动杀死进程，重启集群的server和agent服务。CM界面正常显示，但是过了一会HMS异常退出。CM界面CMS中JVM 堆栈内存显示高出设定值。重启CMS过一段时间还是会自动挂掉。JVM 堆栈内存显示仍然高出设定值。 问题： 经过排查发现元数据库磁盘空间不足，发现hive元数据库notification_log表竟然几百G,数据库扩容后仍然没用。最后查到noti...
【原创】大叔经验分享（29）cdh5使用已存在的metastore数据库部署hive
weixin_30323961的博客
02-17 201
cdh5.16.1使用的hive版本是hive-1.1.0+cdh5.16.1+1431，详见：https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh_package_tarball_516.html如果想将直接使用之前已有的hive metastore的数据库，比如hive1.2，要做如下...
2 ，habse 安装与启动 ： 完全分布式
孙砚秋的博客
07-23 478
一 ，安装 ： 1 ，下载 ： 网站 ：http://archive.cloudera.com/cdh5/cdh/5/ 得到 ：hbase-1.2.0-cdh5.14.0.tar.gz 2 ，文档 ： http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0/ 3 ，上传 ：到这个目录 /export/softwares 4 ，解...
CDH中配置HDFS HA、Hbase HA
春宇大数据专栏
03-01 2690
最近又安装 hadoop 集群， 故尝试了一下配置 HDFS 的 HA，这里使用的是 QJM 的 HA 方案。 关于 hadoop 集群的安装部署过程你可以参考 使用yum安装CDH Hadoop集群 或者 手动安装 hadoop 集群的过程。 集群规划 我一共安装了三个节点的集群，对于 HA 方案来说，三个节点准备安装如下服务： cdh1：hadoop-hdfs-na
CentOS7下部署CDH5.9(HA)
peaceliu
10-22 4169
CentOS7下部署CDH5.9(HA)文件下载 1.Cloudera Manager http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.9.0_x86_64.tar.gz 2.CDH安装包 地址：http://archive.cloudera.com/cdh5/parcels/5.9.0/ 本文基于Ce
Centos7.9.2009离线部署CDH5.14.2.3 hbase集群
Alderaan的博客
02-22 480
Cloudera官方从2021年1月31日开始，所有Cloudera软件都需要有效的订阅，并且只能通过付费墙进行访问。为此网上很多教程使用的官方下载链接，目前访问都提示需要输入账号密码验证，而没有订阅Cloudera账户登录会提示403无权限。对于6.3.3之前的社区版也下载不了，只能找已经下载过的朋友拿安装包了~~~...
Java中调用CDH集群的hive的示例代码
最新发布
09-15
在Java中，通过Hive JDBC驱动程序连接Apache Hadoop CDH集群上的Hive服务，你可以编写类似这样的示例代码： ```java import java.sql.*; public class HiveJdbcExample { public static void main(String[] args) { String url = "jdbc:hive2://<cluster_host>:<port>/default;principal=<principal>;auth=<authentication_type>"; // 请替换实际的主机、端口、用户名和权限类型 String username = "<username>"; String password = "<password>"; try { Connection connection = DriverManager.getConnection(url, username, password); System.out.println("Connected to Hive successfully"); Statement statement = connection.createStatement(); String query = "SELECT * FROM <table_name>"; // 请替换实际表名 ResultSet resultSet = statement.executeQuery(query); while (resultSet.next()) { // 处理查询结果 String col1 = resultSet.getString("column1"); int col2 = resultSet.getInt("column2"); System.out.println("Column 1: " + col1 + ", Column 2: " + col2); } resultSet.close(); statement.close(); connection.close(); } catch (SQLException e) { e.printStackTrace(); } } } ``` 在这个例子中，你需要将`<cluster_host>`、`<port>`、`<principal>`、`<authentication_type>`、`<username>`和`<password>`替换为你CDH集群的实际配置。`<table_name>`也需要替换为你想要查询的Hive表名。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值