一、Hive配置Kerberos认证
1、环境说明
系统环境:
- 操作系统:CentOs 6.6
- Hadoop版本:
CDH 5.5
- JDK版本:1.7.0_67
集群各节点角色规划为:
172.16.57.74 bd-ops-test-74 Hive
172.16.57.75 bd-ops-test-75 Hive
172.16.57.76 bd-ops-test-76 Hive
172.16.57.77 bd-ops-test-77 Hive HiveServer2、HiveMetaStore
2、生成keytab
在 74节点,即 KDC server 节点上执行下面命令:
# cd /var/kerberos/krb5kdc/
kadmin.local -q "addprinc -randkey hive/bd-ops-test-77@BIGDATA.COM "
kadmin.local -q "xst -k hive.keytab hive/bd-ops-test-77@BIGDATA.COM "
拷贝 hive.keytab 文件到其他节点的 /etc/hive/conf 目录
# scp hive.keytab bd-ops-test-xx:/etc/hive/conf
并设置权限,分别在各节点上执行:
cd /etc/hive/conf/;chown hive:hadoop hive.keytab ;chmod 400 *.keytab
由于 keytab 相当于有了永久凭证,不需要提供密码(如果修改 kdc 中的 principal 的密码,则该 keytab 就会失效),所以其他用户如果对该文件有读权限,就可以冒充 keytab 中指定的用户身份访问 hadoop,所以 keytab 文件需要确保只对 owner 有读权限(0400)
3、修改 hive 配置文件
修改 hive-site.xml,添加下面配置:
<property>
<name>hive.server2.authentication</name>
<value>KERBEROS</value>
</property>
<property>
<name>hive.server2.authentication.kerberos.principal</name>
<value>hive/_HOST@BIGDATA.COM</value>
</property>
<property>
<name>hive.server2.authentication.kerberos.keytab</name>
<value>/etc/hive/conf/hive.keytab</value>
</property>
<property>
<name>hive.metastore.sasl.enabled</name>
<value>true</value>
</property>
<property>
<name>hive.metastore.kerberos.keytab.file</name>
<value>/etc/hive/conf/hive.keytab</value>
</property>
<property>
<name>hive.metastore.kerberos.principal</name>
<value>hive/_HOST@BIGDATA.COM</value>
</property>
在 core-site.xml 中添加:
<property>
<name>hadoop.proxyuser.hive.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hive.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hdfs.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hdfs.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.HTTP.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.HTTP.groups</name>
<value>*</value>
</property>
记住将修改的上面文件同步到其他节点,并再次一一检查权限是否正确。
# scp /etc/hive/conf/hive-site.xml bd-ops-test-xx:/etc/hive/conf/
4、 启动服务
启动 Hive MetaStore
hive-metastore 是通过 hive 用户启动的,故在 77 上先获取 hive 用户的 ticket 再启动服务:
$ kinit -k -t /etc/hive/conf/hive.keytab hive/bd-ops-test-77@BIGDATA.COM
# service hive-metastore start
启动 Hive Server2
hive-server2 是通过 hive 用户启动的,故在 77上先获取 hive 用户的 ticket 再启动服务:
$ kinit -k -t /etc/hive/conf/hive.keytab hive/bd-ops-test-77@BIGDATA.COM
# service hive-server2 start
5、测试
Hive CLI
$ hive
Logging initialized using configuration in file:/etc/hive/conf.dist/hive-log4j.properties
WARNING: Hive CLI is deprecated and migration to Beeline is recommended.
hive> create table a(id int);
OK
Time taken: 2.132 seconds
hive> select * from a;
OK
Time taken: 0.478 seconds
可以看到在获取了 hdfs 用户的 ticket 之后,进入 hive cli 可以执行查看表、查询数据等命令。当然,你也可以获取 hive 的 ticket 之后再来运行 hive 命令。
另外,如果你想通过普通用户来访问 hive,则需要 kerberos 创建规则和导出 ticket,然后把这个 ticket 拷贝到普通用户所在的家目录,在获取 ticket 了之后,再运行 hive 命令即可。
JDBC 客户端
客户端通过 jdbc 代码连结 hive-server2:
String url = "jdbc:hive2://cdh1:10000/default;principal=hive/bd-ops-test77@BIGDATA.COM"
Connection con = DriverManager.getConnection(url);
Beeline
Beeline 连结 hive-server2:
beeline
Beeline version 1.1.0-cdh5.5.1 by Apache Hive
beeline> !connect jdbc:hive2://bd-ops-test-77:10000/default;principal=hive/bd-ops-test-77@BIGDATA.COM
scan complete in 3ms
Connecting to jdbc:hive2://bd-ops-test-77:10000/default;principal=hive/bd-ops-test-77@BIGDATA.COM
Enter username for jdbc:hive2://bd-ops-test-77:10000/default;principal=hive/bd-ops-test-77@BIGDATA.COM:
Enter password for jdbc:hive2://bd-ops-test-77:10000/default;principal=hive/bd-ops-test-77@BIGDATA.COM:
Connected to: Apache Hive (version 1.1.0-cdh5.5.1)
Driver: Hive JDBC (version 1.1.0-cdh5.5.1)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://bd-ops-test-77:10000/default> select * from a;
+-------+--+
| a.id |
+-------+--+
+-------+--+
No rows selected (1.809 seconds)
0: jdbc:hive2://bd-ops-test-77:10000/default> desc a;
+-----------+------------+----------+--+
| col_name | data_type | comment |
+-----------+------------+----------+--+
| id | int | |
+-----------+------------+----------+--+
1 row selected (0.268 seconds)
二、Impala配置Kerberos认证
1、环境说明
系统环境:
- 操作系统:CentOs 6.6
- Hadoop版本:
CDH 5.5
- JDK版本:1.7.0_67
集群各节点角色规划为:
172.16.57.74 bd-ops-test-74 impala-catalog impala-server impala-state-store
172.16.57.75 bd-ops-test-75 impala-server
172.16.57.76 bd-ops-test-76 impala-server
172.16.57.77 bd-ops-test-77 impala-server
2、安装依赖的环境:
在每个节点上运行下面的命令:
# yum install python-devel openssl-devel python-pip cyrus-sasl cyrus-sasl-gssapi cyrus-sasl-devel -y
3、生成keytab
在 74节点,即 KDC server 节点上执行下面命令:
# cd /var/kerberos/krb5kdc/
kadmin.local -q "addprinc -randkey impala/bd-ops-test-74@BIGDATA.COM "
kadmin.local -q "addprinc -randkey impala/bd-ops-test-75@BIGDATA.COM "
kadmin.local -q "addprinc -randkey impala/bd-ops-test-76@BIGDATA.COM "
kadmin.local -q "addprinc -randkey impala/bd-ops-test-77@BIGDATA.COM "
kadmin.local -q "xst -k impala-unmerge.keytab impala/bd-ops-test-74@BIGDATA.COM "
kadmin.local -q "xst -k impala-unmerge.keytab impala/bd-ops-test-75@BIGDATA.COM "
kadmin.local -q "xst -k impala-unmerge.keytab impala/bd-ops-test-76@BIGDATA.COM "
kadmin.local -q "xst -k impala-unmerge.keytab impala/bd-ops-test-77@BIGDATA.COM "
另外,如果你使用了haproxy来做负载均衡,参考官方文档Using Impala through a Proxy for High Availability,还需生成 proxy.keytab:
之前HTTP的principle已经生成过,现在讲HTTP和impala的keytab合并成一个impala.keytab
# ktutil
ktutil: rkt HTTP.keytab
ktutil: rkt impala-unmerge.keytab
ktutil: wkt impala.keytab
ktutil: quit
拷贝 impala.keytab 文件到其他节点的 /etc/impala/conf 目录
# scp impala.keytab bd-ops-test-xx:/etc/impala/conf
并设置权限,分别在各节点上执行:
cd /etc/impala/conf/;chown impala:hadoop impala.keytab ;chmod 400 *.keytab
由于 keytab 相当于有了永久凭证,不需要提供密码(如果修改 kdc 中的 principal 的密码,则该 keytab 就会失效),所以其他用户如果对该文件有读权限,就可以冒充 keytab 中指定的用户身份访问 hadoop,所以 keytab 文件需要确保只对 owner 有读权限(0400)
4、修改 impala 配置文件
修改 74 节点上的 /etc/default/impala,在 IMPALA_CATALOG_ARGS
、IMPALA_SERVER_ARGS
和 IMPALA_STATE_STORE_ARGS
中添加下面参数:
-kerberos_reinit_interval=60
-principal=impala/_HOST@BIGDATA.COM
-keytab_file=/etc/impala/conf/impala.keytab
在 IMPALA_CATALOG_ARGS
中添加:
-state_store_host=${IMPALA_STATE_STORE_HOST} \
将修改的上面文件同步到其他节点。最后,/etc/default/impala 文件如下,这里,为了避免 hostname 存在大写的情况,使用 hostname
变量替换 _HOST
:
IMPALA_CATALOG_SERVICE_HOST=bd-ops-test-74
IMPALA_STATE_STORE_HOST=bd-ops-test-74
IMPALA_STATE_STORE_PORT=24000
IMPALA_BACKEND_PORT=22000
IMPALA_LOG_DIR=/var/log/impala
IMPALA_MEM_DEF=$(free -m |awk 'NR==2{print $2-5120}')
hostname=`hostname -f |tr "[:upper:]" "[:lower:]"`
MPALA_CATALOG_ARGS=" -log_dir=${IMPALA_LOG_DIR} -state_store_host=${IMPALA_STATE_STORE_HOST} \
-kerberos_reinit_interval=60\
-principal=impala/${hostname}@BIGDATA.COM \
-keytab_file=/etc/impala/conf/impala.keytab
"
IMPALA_STATE_STORE_ARGS=" -log_dir=${IMPALA_LOG_DIR} -state_store_port=${IMPALA_STATE_STORE_PORT}\
-statestore_subscriber_timeout_seconds=15 \
-kerberos_reinit_interval=60 \
-principal=impala/${hostname}@BIGDATA.COM \
-keytab_file=/etc/impala/conf/impala.keytab
"
IMPALA_SERVER_ARGS=" \
-log_dir=${IMPALA_LOG_DIR} \
-catalog_service_host=${IMPALA_CATALOG_SERVICE_HOST} \
-state_store_port=${IMPALA_STATE_STORE_PORT} \
-use_statestore \
-state_store_host=${IMPALA_STATE_STORE_HOST} \
-be_port=${IMPALA_BACKEND_PORT} \
-kerberos_reinit_interval=60 \
-principal=impala/${hostname}@BIGDATA.COM \
-keytab_file=/etc/impala/conf/impala.keytab \
-mem_limit=${IMPALA_MEM_DEF}m
"
ENABLE_CORE_DUMPS=false
将修改的上面文件同步到其他节点:
# scp /etc/default/impala bd-ops-test-xx:/etc/default/impala
5、启动服务
启动 impala-state-store
impala-state-store 是通过 impala 用户启动的,故在 74 上先获取 impala 用户的 ticket 再启动服务:
$ kinit -k -t /etc/impala/conf/impala.keytab impala/bd-ops-test-74@BIGDATA.COM
# service impala-state-store start
启动 impala-catalog
impala-catalog 是通过 impala 用户启动的,故在 74上先获取 impala 用户的 ticket 再启动服务:
$ kinit -k -t /etc/impala/conf/impala.keytab impala/bd-ops-test-74@BIGDATA.COM
# service impala-catalog start
启动 impala-server
impala-server 是通过 impala 用户启动的,故在 74 上先获取 impala 用户的 ticket 再启动服务:
$ kinit -k -t /etc/impala/conf/impala.keytab impala/bd-ops-test-74@BIGDATA.COM
# service impala-server start
6、测试
测试 impala-shell
在启用了 kerberos 之后,运行 impala-shell 时,需要添加 -k
参数:
-bash-4.1$ impala-shell -k
Starting Impala Shell using Kerberos authentication
Using service name 'impala'
Connected to bd-ops-test-74:21000
Server version: impalad version 2.3.0-cdh5.5.1 RELEASE (build 73bf5bc5afbb47aa7eab06cfbf6023ba8cb74f3c)
***********************************************************************************
Welcome to the Impala shell. Copyright (c) 2015 Cloudera, Inc. All rights reserved.
(Impala Shell v2.3.0-cdh5.5.1 (73bf5bc) built on Wed Dec 2 10:39:33 PST 2015)
After running a query, type SUMMARY to see a summary of where time was spent.
***********************************************************************************
[bd-ops-test-74:21000] > show tables;