hiveserver负载均衡配置

一.安装nginx

参数我的另一篇文章:https://mp.csdn.net/mp_blog/creation/editor/135152478

二.配置nginx服务参数

worker_processes 1;

events {
    worker_connections 1024;
}

stream {
    upstream hiveserver2 {
#        least_conn;  # 使用最少连接路由策略
         hash $remote_addr consistent; 
         server master1:10000;
         server master2:10000;
    }

    server {
        listen 10010;
        proxy_pass hiveserver2;
        proxy_connect_timeout 60s;  # 设置连接超时时间
        proxy_timeout 1800s;
    } 
}
 

 

三.配置cdh hivesever2 load balaner

 四.hivermateStore配置

注意nginx使用的是stream而不是http 

<think>好的,我需要解决用户关于在CDH中配置Hive高可用后,如何让HUE支持HiveServer2高可用的问题。首先,我需要回顾一下Hive高可用的基本配置,通常这涉及到多个HiveServer2实例和ZooKeeper来实现故障转移。用户已经完成了Hive的高可用配置,现在需要调整HUE的设置来支持这一点。 接下来,我应该考虑HUE连接HiveServer2的方式。通常,HUE会直接连接到一个HiveServer2的主机名和端口。但在高可用环境下,应该通过ZooKeeper的服务发现机制来动态获取可用的HiveServer2实例。因此,HUE的配置需要从单节点地址改为使用ZooKeeper的集合地址。 然后,我需要确认HUE配置文件中相关的参数。CDH中HUE的配置通常通过Cloudera Manager管理,可能需要修改hue_safety_valve.ini或者直接编辑hue.ini文件。关键点是将HiveServer2的连接URL从直接的主机:端口改为ZooKeeper的命名空间,例如jdbc:hive2://zk1:2181,zk2:2181,zk3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2。 另外,可能需要设置负载均衡或故障转移的参数,比如连接超时和重试机制,确保HUE能够正确处理连接失败的情况。还要注意HiveServer2的Kerberos认证配置,如果启用了安全认证,HUE的配置中需要包含相应的principal和keytab信息。 此外,可能需要检查HUE与HiveServer2之间的版本兼容性,确保使用的JDBC驱动支持高可用配置。如果有必要,更新HUE的lib目录下的Hive JDBC驱动版本。 最后,配置完成后需要重启HUE服务,并进行测试,验证HUE能否通过ZooKeeper正确连接到HiveServer2集群,并且在某个节点故障时能够自动切换到其他可用节点。</think>以下是配置HUE支持HiveServer2 HA的步骤: ### 核心配置步骤 1. **修改Hue服务配置** ```ini [beeswax] # 原始单节点配置(需注释) # hive_server_host=hs2-host1 # hive_server_port=10000 # 启用ZooKeeper服务发现 hive_server2_jdbc_url=jdbc:hive2://zk1:2181,zk2:2181,zk3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2 ``` 2. **添加ZooKeeper参数**(可选增强配置) ```ini # 设置连接超时为120秒 hive_server2_session_connection_timeout=120 # 启用连接池保持会话 hive_server2_conn_pool=True ``` 3. **安全认证配置**(如启用Kerberos) ```ini [security] # 配置Kerberos认证信息 kerberos_hive_principal=hive/_HOST@YOUR-REALM.COM kerberos_keytab=/etc/hue/keytabs/hue.service.keytab ``` ### 配置验证流程 1. 通过Cloudera Manager分发配置 2. 重启Hue服务 3. 检查日志确认连接状态: ```bash tail -f /var/log/hue/hue_server.log | grep 'HiveServer2' ``` 4. 执行双重验证测试: - 正常查询验证 - 手动停止当前连接的HS2节点,验证自动切换 ### 注意事项 1. **ZooKeeper命名空间**需与HiveServer2 HA配置的`hive.server2.zookeeper.namespace`一致 2. **网络策略**确保Hue服务器能访问所有ZooKeeper节点 3. **负载均衡**建议配合Haproxy实现更均衡的连接分配 ### 故障排查要点 1. 使用zkCli.sh验证服务注册状态: ```bash ls /hiveserver2 get /hiveserver2/serverUri=host1:port ``` 2. JDBC驱动版本需与CDH版本匹配 3. 检查SASL/GSSAPI协商日志(如果启用Kerberos) 完成配置后,Hue即可通过ZooKeeper自动发现可用的HiveServer2节点,实现高可用访问。建议在配置变更后通过不同HS2节点执行查询,观察连接切换是否正常。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

远方有海,小样不乖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值