impala集成kerberos问题一例

最近在折腾hadoop+kerberos，由于线上使用的组件比较多，遇到不少问题，记录下来，碰到同样问题的同学可以参考下。

在hdfs+mapred+kerberos运行正常后，开始尝试集成impala.

其中statestore的参数：

1 2	export  IMPALA_STATE_STORE_ARGS=${IMPALA_STATE_STORE_ARGS:- -log_dir=${IMPALA_LOG_DIR} \      -state_store_port=${IMPALA_STATE_STORE_PORT} -kerberos_reinit_interval=60 -principal=impala /xxxxxx @KERBEROS_HADOOP -keytab_file= /etc/impala/conf .dist /impala .keytab}

impala-server的参数：

1 2 3 4

export  IMPALA_SERVER_ARGS=${IMPALA_SERVER_ARGS:- -log_dir=${IMPALA_LOG_DIR} \    -state_store_port=${IMPALA_STATE_STORE_PORT} -use_statestore -state_store_host=${IMPALA_STATE_STORE_HOST} \    -be_port=${IMPALA_BACKEND_PORT} -statestore_subscriber_timeout_seconds=${STATESTORE_SUBSCRIBER_TIMEOUT_SECONDS} -mem_limit=50% \      -kerberos_reinit_interval=60 -principal=impala /xxxxx @KERBEROS_HADOOP -keytab_file= /etc/impala/conf .dist /impala .keytab}

启动statestore没有异常，因为在impala 1.1.1版本中，statestore只是做一个监控impala-server进程的作用，不涉及和hadoop的通信，而在启动impala-server时，发现进程运行一段时间之后就会crash,通过设置impala的日志级别export GLOG_v=3，可以在日志中观察到下面的错误：

1 2 3 4 5 6 7

E0305 17:29:06.696974 12551 UserGroupInformation.java:1411] PriviledgedActionException as:impala /datanode @KERBEROS_HADOOP (auth:KERBEROS) cause:java.io.IOException: Couldn't setup connection  for  impala /gd6g12s103-hadooptest-datanode .idc.vipshop.com@KERBEROS_HADOOP to hdfs /namenode @KERBEROS_HADOOP E0305 17:29:06.699252 12551 impala-server.cc:339] Could not  read  the HDFS root directory at hdfs: //bipcluster . Error was: Failed on  local  exception: java.io.IOException: Couldn't setup connection  for  impala /gdatanode @KERBEROS_HADOOP to hdfs /namenode @KERBEROS_HADOOP; Host Details :  local  host is:  "datanode/ip" ; destination host is:  "namenode" :8020; E0305 17:29:06.699296 12551 impala-server.cc:341] Aborting Impala Server startup due to improper configuration

可以看到确实再用kerbers做验证登陆，但是在datanode和namenode通信时出现错误，因为线上用了namenode的ha，在日志中发现有ha的报错，因为怀疑是ha的问题，在关闭ha后，问题仍然存在。

日志中还有tgt相关的报错：

1	Caused by: javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to  find  any Kerberos tgt)]

但是手动通过kinit验证，是可以获取tgt的，说明tgt的验证是ok的。

在datanode端，运行hadoop fs -ls 的命令时，报错。通过export HADOOP_ROOT_LOGGER=DEBUG,console 设置hadoop命令的日志级别，发现也是同样报了tgt相关的错误。

在通过klist查看tgt的cache，发现tgt竟然过期了，而且不能进行kinit -R.

1 2 3 4 5 6

klist Ticket cache: FILE: /tmp/krb5cc_501 Default principal: hdfs /namenode @KERBEROS_HADOOP Valid starting     Expires            Service principal 03 /11/14  18:45:52  03 /12/14  18:45:52  krbtgt /KERBEROS_HADOOP @KERBEROS_HADOOP          renew  until  03 /11/14  18:45:56

这是由于renew expires导致，kerberos中有两个时间比较重要：

max_list,tgt的有效时间，max_renewable_life ,renew的时间，在max_renewable_life 时间内，过期的tgt可以renew，如果时间超过max_renewable_life就不能renew了。。

查看线上的设置：

1 2	max_life = 25h max_renewable_life = 4w

而实际renew 的最大时间却是4s（03/11/14 18:45:56-03/11/14 18:45:52），看来w不是week的意思。。不知道算不算bug，修正下，改成30d，重新kinit，就正常了。。

后面如果报Kerberos: Couldn't find mech GSSAPI 说明是cyrus-sasl-gssapi的相关包没有安装。

启动正常后验证：

1 2 3 4 5 6 7 8 9 10 11 12

impala-shell -i  ip -k  -s impala Starting Impala Shell  in  secure mode (using Kerberos) [10.19.111.106:21000] > use cdnlog; Query: use cdnlog [10.19.111.106:21000] >  select  count(1) from dd_log; Query:  select  count(1) from dd_log Query finished, fetching results ... +----------+ | count(1) | +----------+ | 5000000  | +----------+

可以看到已经正常跑了，自己对kerberos的了解还是太少了，在解决kerberos的相关问题的时候，第一步就应该用klist验证。。

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1381323，如需转载请自行联系原作者