Hive、Impala配置Kerberos认证

最新推荐文章于 2024-07-11 00:30:05 发布
最新推荐文章于 2024-07-11 00:30:05 发布
阅读量631 收藏 1
点赞数
文章标签： 大数据 shell python
原文链接：https://my.oschina.net/Yumikio/blog/744325
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

一、Hive配置Kerberos认证

1、环境说明

系统环境：

  • 操作系统：CentOs 6.6
  • Hadoop版本：CDH 5.5
  • JDK版本：1.7.0_67

集群各节点角色规划为：

172.16.57.74    bd-ops-test-74      Hive  
172.16.57.75    bd-ops-test-75      Hive 
172.16.57.76    bd-ops-test-76      Hive
172.16.57.77    bd-ops-test-77      Hive HiveServer2、HiveMetaStore

2、生成keytab

在 74节点，即 KDC server 节点上执行下面命令：

# cd /var/kerberos/krb5kdc/

kadmin.local -q "addprinc -randkey hive/bd-ops-test-77@BIGDATA.COM "
kadmin.local -q "xst  -k hive.keytab  hive/bd-ops-test-77@BIGDATA.COM "

拷贝 hive.keytab 文件到其他节点的 /etc/hive/conf 目录

# scp hive.keytab bd-ops-test-xx:/etc/hive/conf

并设置权限，分别在各节点上执行：

cd /etc/hive/conf/;chown hive:hadoop hive.keytab ;chmod 400 *.keytab

由于 keytab 相当于有了永久凭证，不需要提供密码(如果修改 kdc 中的 principal 的密码，则该 keytab 就会失效)，所以其他用户如果对该文件有读权限，就可以冒充 keytab 中指定的用户身份访问 hadoop，所以 keytab 文件需要确保只对 owner 有读权限(0400)

3、修改 hive 配置文件

修改 hive-site.xml，添加下面配置：

    <property>
        <name>hive.server2.authentication</name>
        <value>KERBEROS</value>
    </property>

    <property>
        <name>hive.server2.authentication.kerberos.principal</name>
        <value>hive/_HOST@BIGDATA.COM</value>
    </property>

    <property>
        <name>hive.server2.authentication.kerberos.keytab</name>
        <value>/etc/hive/conf/hive.keytab</value>
    </property>

    <property>
        <name>hive.metastore.sasl.enabled</name>
        <value>true</value>
    </property>

    <property>
        <name>hive.metastore.kerberos.keytab.file</name>
        <value>/etc/hive/conf/hive.keytab</value>
    </property>

    <property>
        <name>hive.metastore.kerberos.principal</name>
        <value>hive/_HOST@BIGDATA.COM</value>
    </property>

在 core-site.xml 中添加：

<property>
  <name>hadoop.proxyuser.hive.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hive.groups</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hdfs.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hdfs.groups</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.HTTP.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.HTTP.groups</name>
  <value>*</value>
</property>

记住将修改的上面文件同步到其他节点，并再次一一检查权限是否正确。

# scp /etc/hive/conf/hive-site.xml bd-ops-test-xx:/etc/hive/conf/

4、 启动服务

启动 Hive MetaStore

hive-metastore 是通过 hive 用户启动的，故在 77 上先获取 hive 用户的 ticket 再启动服务：

$ kinit -k -t /etc/hive/conf/hive.keytab hive/bd-ops-test-77@BIGDATA.COM
# service hive-metastore start

启动 Hive Server2

hive-server2 是通过 hive 用户启动的，故在 77上先获取 hive 用户的 ticket 再启动服务：

$ kinit -k -t /etc/hive/conf/hive.keytab hive/bd-ops-test-77@BIGDATA.COM
# service hive-server2 start

5、测试

Hive CLI

$ hive
Logging initialized using configuration in file:/etc/hive/conf.dist/hive-log4j.properties
WARNING: Hive CLI is deprecated and migration to Beeline is recommended.
hive> create table a(id int);
OK
Time taken: 2.132 seconds
hive> select * from a;
OK
Time taken: 0.478 seconds

可以看到在获取了 hdfs 用户的 ticket 之后，进入 hive cli 可以执行查看表、查询数据等命令。当然，你也可以获取 hive 的 ticket 之后再来运行 hive 命令。

另外，如果你想通过普通用户来访问 hive，则需要 kerberos 创建规则和导出 ticket，然后把这个 ticket 拷贝到普通用户所在的家目录，在获取 ticket 了之后，再运行 hive 命令即可。

JDBC 客户端

客户端通过 jdbc 代码连结 hive-server2：

String url = "jdbc:hive2://cdh1:10000/default;principal=hive/bd-ops-test77@BIGDATA.COM"
Connection con = DriverManager.getConnection(url);

Beeline

Beeline 连结 hive-server2：

beeline 
Beeline version 1.1.0-cdh5.5.1 by Apache Hive
beeline> !connect jdbc:hive2://bd-ops-test-77:10000/default;principal=hive/bd-ops-test-77@BIGDATA.COM
scan complete in 3ms
Connecting to jdbc:hive2://bd-ops-test-77:10000/default;principal=hive/bd-ops-test-77@BIGDATA.COM
Enter username for jdbc:hive2://bd-ops-test-77:10000/default;principal=hive/bd-ops-test-77@BIGDATA.COM: 
Enter password for jdbc:hive2://bd-ops-test-77:10000/default;principal=hive/bd-ops-test-77@BIGDATA.COM: 
Connected to: Apache Hive (version 1.1.0-cdh5.5.1)
Driver: Hive JDBC (version 1.1.0-cdh5.5.1)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://bd-ops-test-77:10000/default> select * from a;
+-------+--+
| a.id  |
+-------+--+
+-------+--+
No rows selected (1.809 seconds)
0: jdbc:hive2://bd-ops-test-77:10000/default> desc a;
+-----------+------------+----------+--+
| col_name  | data_type  | comment  |
+-----------+------------+----------+--+
| id        | int        |          |
+-----------+------------+----------+--+
1 row selected (0.268 seconds)

二、Impala配置Kerberos认证

1、环境说明

系统环境：

  • 操作系统：CentOs 6.6
  • Hadoop版本：CDH 5.5
  • JDK版本：1.7.0_67

集群各节点角色规划为：

172.16.57.74    bd-ops-test-74      impala-catalog impala-server impala-state-store
172.16.57.75    bd-ops-test-75      impala-server 
172.16.57.76    bd-ops-test-76      impala-server 
172.16.57.77    bd-ops-test-77      impala-server

2、安装依赖的环境：

在每个节点上运行下面的命令：

 # yum install python-devel openssl-devel python-pip cyrus-sasl cyrus-sasl-gssapi cyrus-sasl-devel -y

3、生成keytab

在 74节点，即 KDC server 节点上执行下面命令：

# cd /var/kerberos/krb5kdc/

kadmin.local -q "addprinc -randkey impala/bd-ops-test-74@BIGDATA.COM "
kadmin.local -q "addprinc -randkey impala/bd-ops-test-75@BIGDATA.COM "
kadmin.local -q "addprinc -randkey impala/bd-ops-test-76@BIGDATA.COM "
kadmin.local -q "addprinc -randkey impala/bd-ops-test-77@BIGDATA.COM "

kadmin.local -q "xst  -k impala-unmerge.keytab  impala/bd-ops-test-74@BIGDATA.COM "
kadmin.local -q "xst  -k impala-unmerge.keytab  impala/bd-ops-test-75@BIGDATA.COM "
kadmin.local -q "xst  -k impala-unmerge.keytab  impala/bd-ops-test-76@BIGDATA.COM "
kadmin.local -q "xst  -k impala-unmerge.keytab  impala/bd-ops-test-77@BIGDATA.COM "

另外，如果你使用了haproxy来做负载均衡，参考官方文档Using Impala through a Proxy for High Availability，还需生成 proxy.keytab：

之前HTTP的principle已经生成过，现在讲HTTP和impala的keytab合并成一个impala.keytab

# ktutil
ktutil: rkt HTTP.keytab
ktutil: rkt impala-unmerge.keytab
ktutil: wkt impala.keytab
ktutil: quit

拷贝 impala.keytab 文件到其他节点的 /etc/impala/conf 目录

# scp impala.keytab bd-ops-test-xx:/etc/impala/conf

并设置权限，分别在各节点上执行：

cd /etc/impala/conf/;chown impala:hadoop impala.keytab ;chmod 400 *.keytab

由于 keytab 相当于有了永久凭证，不需要提供密码(如果修改 kdc 中的 principal 的密码，则该 keytab 就会失效)，所以其他用户如果对该文件有读权限，就可以冒充 keytab 中指定的用户身份访问 hadoop，所以 keytab 文件需要确保只对 owner 有读权限(0400)

4、修改 impala 配置文件

修改 74 节点上的 /etc/default/impala，在 IMPALA_CATALOG_ARGS 、IMPALA_SERVER_ARGS 和 IMPALA_STATE_STORE_ARGS 中添加下面参数：

-kerberos_reinit_interval=60
-principal=impala/_HOST@BIGDATA.COM
-keytab_file=/etc/impala/conf/impala.keytab

在 IMPALA_CATALOG_ARGS 中添加：

-state_store_host=${IMPALA_STATE_STORE_HOST} \

将修改的上面文件同步到其他节点。最后，/etc/default/impala 文件如下，这里，为了避免 hostname 存在大写的情况，使用 hostname 变量替换 _HOST：

IMPALA_CATALOG_SERVICE_HOST=bd-ops-test-74
IMPALA_STATE_STORE_HOST=bd-ops-test-74
IMPALA_STATE_STORE_PORT=24000
IMPALA_BACKEND_PORT=22000
IMPALA_LOG_DIR=/var/log/impala

IMPALA_MEM_DEF=$(free -m |awk 'NR==2{print $2-5120}')
hostname=`hostname -f |tr "[:upper:]" "[:lower:]"`

MPALA_CATALOG_ARGS=" -log_dir=${IMPALA_LOG_DIR} -state_store_host=${IMPALA_STATE_STORE_HOST} \
    -kerberos_reinit_interval=60\
    -principal=impala/${hostname}@BIGDATA.COM \
    -keytab_file=/etc/impala/conf/impala.keytab
"

IMPALA_STATE_STORE_ARGS=" -log_dir=${IMPALA_LOG_DIR} -state_store_port=${IMPALA_STATE_STORE_PORT}\
    -statestore_subscriber_timeout_seconds=15 \
    -kerberos_reinit_interval=60 \
    -principal=impala/${hostname}@BIGDATA.COM \
    -keytab_file=/etc/impala/conf/impala.keytab
"
IMPALA_SERVER_ARGS=" \
    -log_dir=${IMPALA_LOG_DIR} \
    -catalog_service_host=${IMPALA_CATALOG_SERVICE_HOST} \
    -state_store_port=${IMPALA_STATE_STORE_PORT} \
    -use_statestore \
    -state_store_host=${IMPALA_STATE_STORE_HOST} \
    -be_port=${IMPALA_BACKEND_PORT} \
    -kerberos_reinit_interval=60 \
    -principal=impala/${hostname}@BIGDATA.COM \
    -keytab_file=/etc/impala/conf/impala.keytab \
    -mem_limit=${IMPALA_MEM_DEF}m
"
ENABLE_CORE_DUMPS=false

将修改的上面文件同步到其他节点：

# scp /etc/default/impala bd-ops-test-xx:/etc/default/impala

5、启动服务

启动 impala-state-store

impala-state-store 是通过 impala 用户启动的，故在 74 上先获取 impala 用户的 ticket 再启动服务：

$ kinit -k -t /etc/impala/conf/impala.keytab impala/bd-ops-test-74@BIGDATA.COM
# service impala-state-store start

启动 impala-catalog

impala-catalog 是通过 impala 用户启动的，故在 74上先获取 impala 用户的 ticket 再启动服务：

$ kinit -k -t /etc/impala/conf/impala.keytab impala/bd-ops-test-74@BIGDATA.COM
# service impala-catalog start

启动 impala-server

impala-server 是通过 impala 用户启动的，故在 74 上先获取 impala 用户的 ticket 再启动服务：

$ kinit -k -t /etc/impala/conf/impala.keytab impala/bd-ops-test-74@BIGDATA.COM
# service impala-server start

6、测试

测试 impala-shell

在启用了 kerberos 之后，运行 impala-shell 时，需要添加 -k 参数：

-bash-4.1$ impala-shell -k
Starting Impala Shell using Kerberos authentication
Using service name 'impala'
Connected to bd-ops-test-74:21000
Server version: impalad version 2.3.0-cdh5.5.1 RELEASE (build 73bf5bc5afbb47aa7eab06cfbf6023ba8cb74f3c)
***********************************************************************************
Welcome to the Impala shell. Copyright (c) 2015 Cloudera, Inc. All rights reserved.
(Impala Shell v2.3.0-cdh5.5.1 (73bf5bc) built on Wed Dec  2 10:39:33 PST 2015)

After running a query, type SUMMARY to see a summary of where time was spent.
***********************************************************************************
[bd-ops-test-74:21000] > show tables;

 

转载于:https://my.oschina.net/Yumikio/blog/744325

weixin_34370347
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python连接hive kerberos_python操作具有kerberos认证的hive（impala）
weixin_42386511的博客
12-24 2089
▌前言python中用于连接HiveServer2的客户端有3个：pyhs2，pyhive，impyla。官网的示例采用的是pyhs2，但pyhs2的官网已声明不再提供支持，建议使用impyla和pyhive。我选择的python2.7和impala，运行环境Linux、Windows。▌安装依赖(默认已安装好python2.7、pip)pipinstallsaslpipinstallth...
springboot中使用jdbc+impala+Kerberos+数据源查询hive
nb7474的博客
07-31 7971
在springboot中使用jdbc连接impala可以参照上一篇笔记java使用jdbc绕过Kerberos连接impala,此次是在上一篇的基础上进行优化。增加了数据库连接池与同步hive操作。 目录1. 同步hive2. Kerberos认证Springboot启动时执行指定代码3. 使用连接池自定义连接池的使用3. 测试方法 1. 同步hive 在本项目的实际应用场景中，会向hive中...
Java JDBC连接Kerberos认证的HIVE 和 Impala
Donnedaen的专栏
05-14 822
JDBC 连接 HIVE 和 Impala
kerberos安全认证
12-29
kerberos安全认证demo，内含spark、oozie、mr、kafka、hive、hdfs、hbase等认证代码，并有对应开发文档等信息。。。
04、Kerberos安全认证之配置和访问Kerberos安全认证的Hive集群学习笔记
最新发布
每个人都是独一无二的，把握好自己的节奏，跟着自己的心走。
07-11 1343
04、Kerberos安全认证之配置和访问Kerberos安全认证的Hive集群学习笔记
Hive配置Kerberos认证
热门推荐
a118170653的专栏
02-03 1万+
关于 Kerberos 的安装和 HDFS 配置 kerberos 认证，请参考 HDFS配置kerberos认证。 关于 Kerberos 的安装和 YARN 配置 kerberos 认证，请参考 YARN配置kerberos认证。 请先完成 HDFS 和 YARN 配置 Kerberos 认证，再来配置 Hive 集成 Kerberos 认证 ！ 参考 使用yum安装
hive配置Kerbros安全认证_hive kereveros(1)
2401_84264610的博客
04-26 372
因为服务器上可以访问keytab文件即可以以principal的身份通过kerberos的认证，所以，keytab文件应该被妥善保存，应该只有少数的用户可以访问。将生成的hdfs.keytab文件复制到hadoop配置路径下，并授权 后面经常会遇到使用keytab login失败的问题，首先需要检查的就是文件的权限。hive配置kerberos的前提是Hadoop集群已经配置好Kerberos，因此我们先来配置Hadoop集群的认证。输入规则和密码，，两次密码相同即可，我是用的是root。
Kerberos安全认证-连载10-Hive Kerberos 安全配置及访问
qq_32020645的博客
06-22 4325
技术连载系列，前面内容请参考前面连载9内容:​​​​​​​Hive底层数据存储在HDFS中，HQL执行默认会转换成MR执行在Yarn中，当HDFS配置了Kerberos安全认证时，只对HDFS进行认证是不够的，因为Hive作为数据仓库基础架构也需要访问HDFS上的数据。因此，为了确保整个大数据环境的安全性，Hive也需要配置Kerberos安全认证，这样可以控制对Hive和底层HDFS数据的访问权限，防止未经授权的访问和操作，确保数据的安全性。目前对HDFS进行了Kerberos安全认证后，在Hive。
hive对kerberos认证
qq_39812854的博客
02-21 4995
hive对kerberos认证
python操作具有kerberos认证的hive（impala）
dlijuan的博客
07-25 1万+
▌前言       python中用于连接HiveServer2的客户端有3个：pyhs2，pyhive，impyla。官网的示例采用的是pyhs2，但pyhs2的官网已声明不再提供支持，建议使用impyla和pyhive。我选择的python2.7和impala，运行环境Linux、Windows。   ▌安装依赖（默认已安装好python2.7、pip）    pip install ...
python3.6.5基于kerberos认证的hive和hdfs连接调用方式
09-16
总的来说，使用Kerberos认证的Python连接Hive和HDFS需要安装正确的依赖、配置Kerberos环境，并正确地编写Python代码来利用Kerberos进行身份验证。这个过程虽然复杂，但是一旦设置成功，就能提供安全且可靠的访问控制...
centos7 pyhive连接hive（基于kerberos安全验证）
07-23
centos7 pyhive连接hive（基于kerberos）。由于基于kerberos校验的hive服务器通过python连接的过程很麻烦，故整理文档。
kerberos认证hive连接代码
12-05
kerberos认证hive连接代码，springmvc配置加上java触发认证kerberos认证
Python连接Impala实现步骤解析
12-17
Impyla是用于分布式查询引擎的HiveServer2实现(如Impala、Hive)的python客户端 1)安装impyla pip install impyla 安装报错 解决办法： 根据提示下载对应的工具 https://visualstudio.microsoft.com/zh-hans/downloads/ 直接下载安装即可 工具安装完成后，继续pip install impyla 安装成功 代码测试： from impala.dbapi import connect conn = connect(host='xxx.xxx.xxx.xxx', port=21050)
在Python中使用ibis,impyla,pyhive,pyspark连接Kerberos安全认证的Hive、Impala
王义凯 的博客
06-09 8107
在python中连接hive和impala有很多中方式，有pyhive,impyla,pyspark,ibis等等，本篇我们就逐一介绍如何使用这些包连接hive或impala，以及如何通过kerberos认证。
Hive工具类（kerberos认证）
zhou_zhao_xu的博客
11-13 403
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 ...
hive数据源认证kerberos
qq_41159818的博客
12-02 366
请参考转载
Kerberos安全认证-连载10-Hive Kerberos 安全配置及访问_idea连接 kerberos 认证的hiveserver2
m0_60607562的博客
04-05 767
hivemetastore 开启kerberos认证truemetastore kerberos主体metastore keytab密钥文件路径修改core-site.xml中相关代理配置为hive代理用户,node1~node5节点core-site.xml中修改如下配置项:允许hive用户在任意主机节点代理任意用户和任意组以上配置分发到Hadoop各个集群节点后，
Java通过Kerberos认证连接hiveServer2
Alecor的博客
06-18 810
import jodd.util.PropertiesUtil; import org.apache.hadoop.security.UserGroupInformation; import java.io.IOException; import java.io.InputStream; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; import java.util.Prop
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值