Hive+Zookeeper+Kerberos配置HA方法

一般在cdh上配置,如图:
 
具体的几个配置项如下:
hive.server2.support.dynamic.service.discovery=true
hive.server2.zookeeper.namespace=hiveserver2_zk
hive.zookeeper.quorum=test-hadoop-pc06:2181,test-hadoop-pc07:2181,test-hadoop-pc08:2181
hive.zookeeper.client.port=2181
hive.server2.thrift.port=10000
hive.server2.enable.doAs=false
hive.server2.authentication.kerberos.principal=hive/_HOST@ws.com
配置完重启就行了。

注意:hive.server2.authentication.kerberos.principal配置项的hive/_HOST@ws.com 值中的_HOST代理了kerberos认证域,是动态的,或者说这是kerberos认证服务器的地址,这个最好这么写,因为你通过zookeeper HA方式连接hive时,zookeeper路由给你那个hiveserver是随机的,所以jdbc中的配置项principal不能把认证主体的域名写死为某一个具体的,所以就得用_HOST,当然你如果写死成某一个具体的,当zookeeper随机分配的hiveserver正好与这个写死的域能对应上也能访问成功,但那只能算你蒙对了。

注意:不要在hive-site.xml中把hive.server2.thrift.bind.host配置成0.0.0.0,一旦配置上,HA的两个hiveserver2注册到zoopeeper上显示的host就是0.0.0.0,这样客户端拿到hiveserver2 IP是0.0.0.0,没法连接真正的hiveserver2了

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Hadoop、Hive、Spark和Zookeeper都是大数据技术栈中重要的组件。 Hadoop是一个由Apache开源的分布式文件系统和计算框架。它能够将大规模的数据分散存储在千台、万台、甚至更多的服务器上,并且实现数据的高效处理和分析。 Hive是在Hadoop之上构建的数据仓库基础设施。它提供了一个类似于SQL的查询语言,可以让用户通过简单的查询语句对存储在Hadoop集群中的数据进行操作和分析。Hive可以将结构化和半结构化的数据映射为一张表格,并提供了诸如过滤、连接、聚合等功能。 Spark是一个快速的、通用的集群计算系统。它提供了分布式数据处理的能力,采用了内存计算方式,相比于Hadoop MapReduce带来了更高的性能和更广泛的应用场景。Spark支持多种编程语言和丰富的组件库,如Spark SQL、Spark Streaming等,可以用于数据处理、机器学习、图计算等任务。 Zookeeper是一个开源的分布式协调服务。它实现了一个分布式的、高可用的、高性能的协调系统,可以提供诸如统一命名服务、配置管理、分布式锁等功能。Zookeeper能够帮助大数据系统中的不同组件进行协调和通信,确保分布式系统的一致性和可靠性。 综上所述,Hadoop用于分布式存储和计算,Hive用于数据仓库和查询分析,Spark用于高性能的集群计算,而Zookeeper用于分布式协调和通信。这四个技术在大数据领域中扮演着不可替代的角色,相辅相成,共同构建了现代大数据生态系统。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

头顶榴莲树

你的鼓励是我最大的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值