Hive、Impala、Hue集成LDAP

1.LDAP简介

轻型目录访问协议，是一个开放的，中立的，工业标准的应用协议，通过IP协议提供访问控制和维护分布式信息的目录信息。在hadoop生态圈中，LDAP主要是用来做账号管理的。

2.LDAP安装配置

2.1 安装LDAP（以下操作都只需在主节点执行）

 yum install -y openldap-*

2.2 配置
（1）更改配置

rm -rf /var/lib/ldap/*
cp /usr/share/openldap-servers/DB_CONFIG.example /var/lib/ldap/DB_CONFIG
chown -R ldap:ldap /var/lib/ldap

（2）备份slapd.d文件

cp -rf /etc/openldap/slapd.d /etc/openldap/slapd.d.bak

（3）编辑slapd.conf文件

vi /etc/openldap/slapd.conf

增加以下内容

include /etc/openldap/schema/core.schema
include /etc/openldap/schema/cosine.schema
include /etc/openldap/schema/duaconf.schema
include /etc/openldap/schema/dyngroup.schema
include /etc/openldap/schema/inetorgperson.schema
include /etc/openldap/schema/java.schema
include /etc/openldap/schema/misc.schema
include /etc/openldap/schema/nis.schema
include /etc/openldap/schema/openldap.schema
include /etc/openldap/schema/ppolicy.schema
include /etc/openldap/schema/collective.schema
pidfile /var/run/openldap/slapd.pid
argsfile /var/run/openldap/slapd.args

（4）更新slapd.d文件

slaptest -f /etc/openldap/slapd.conf -F /etc/openldap/slapd.d
chown -R ldap:ldap /etc/openldap/slapd.d && chmod -R 700 /etc/openldap/slapd.d

注意：在2.4以前的版本中，OpenLDAP 使用 slapd.conf 配置文件来进行服务器的配置，而2.4开始则使用 slapd.d 目录保存细分后的各种配置，这一点需要注意，其数据存储位置即目录 /etc/openldap/slapd.d 。尽管该系统的数据文件是透明格式的，还是建议使用 ldapadd, ldapdelete, ldapmodify 等命令来修改而不是直接编辑。

（5）启动ldap服务

systemctl start slapd
systemctl enable slapd

启动报错：5f30f8be config error processing cn={1}core,cn=schema,cn=config: olc…4.2"

解决方法：执行命令 rm -f /etc/openldap/slapd.d/cn=config/cn=schema/cn={1}core.ldif，可能会提示多个，均将提示的文件删除。

ps aux | grep slapd

netstat -tunlp  | grep :389

2.3 创建LDAP数据库
（1）查看默认配置
vi /etc/openldap/slapd.d/cn=config/olcDatabase={2}hdb.ldif

（2）创建modify.ldif 文件
cd /etc/openldap/slapd.d
vi modify.ldif

dn: olcDatabase={2}hdb,cn=config
changetype: modify
replace: olcSuffix
olcSuffix: dc=testdomain,dc=com
 
dn: olcDatabase={2}hdb,cn=config
changetype: modify
replace: olcRootDN
olcRootDN: uid=ldapadmin,ou=people,dc=testdomain,dc=com
 
dn: olcDatabase={2}hdb,cn=config
changetype: modify
replace: olcRootPW
olcRootPW: esen1234
 
dn: cn=config
changetype: modify
add: olcAuthzRegexp
olcAuthzRegexp: uid=([^,]*),cn=GSSAPI,cn=auth uid=$1,ou=people,dc=testdomain,dc=com
 
dn: olcDatabase={2}hdb,cn=config
changetype: modify
add: olcAccess
# Everyone can read everything
olcAccess: {0}to dn.base="" by * read
# The ldapadm dn has full write access
olcAccess: {1}to * by dn="uid=ldapadmin,ou=people,dc=testdomain,dc=com" write by * read

注意：如果是pb2.12版本 olcDatabase 需依据实际情况设置，上一步所述olcDatabase={2}hdb.ldif文件不存在，存在olcDatabase={2}bdb.ldif文件,将hbd替换为bdb。注：esen1234是ldapadmin的密码，根据实际情况设置

ldapmodify -Y EXTERNAL -H ldapi:/// -f modify.ldif（导入修改）

（3）添加数据
vi setup.ldif

dn: dc=testdomain,dc=com
objectClass: top
objectClass: dcObject
objectClass: organization
o: testdomain com
dc: testdomain
 
dn: ou=people,dc=testdomain,dc=com
objectClass: organizationalUnit
ou: people
description: Users
 
dn: ou=group,dc=testdomain,dc=com
objectClass: organizationalUnit
ou: group
 
dn: uid=ldapadmin,ou=people,dc=testdomain,dc=com
objectClass: inetOrgPerson
objectClass: posixAccount
objectClass: shadowAccount
cn: LDAP admin account
uid: ldapadmin
sn: ldapadmin
uidNumber: 1001
gidNumber: 100
homeDirectory: /home/ldap
loginShell: /bin/bash

ldapadd -x -D “uid=ldapadmin,ou=people,dc=testdomain,dc=com” -w esen1234 -f setup.ldif（导入数据）

2.4 安装 Migrationtools

yum install migrationtools -y
vi /usr/share/migrationtools/migrate_common.ph

修改以下内容

$DEFAULT_MAIL_DOMAIN = "testdomain.com";
$DEFAULT_BASE = "dc=testdomain,dc=com";

/usr/share/migrationtools/migrate_base.pl > /opt/base.ldif

2.5 添加ldap用户
vi /opt/adduser.sh（新增添加用户文件）

#!/bin/bash
username=$1
useradd $username
grep -E "${username}:" /etc/passwd > /opt/passwd.txt
/usr/share/migrationtools/migrate_passwd.pl /opt/passwd.txt /opt/passwd.ldif
ldapadd -x -D "uid=ldapadmin,ou=people,dc=testdomain,dc=com" -w esen1234 -f /opt/passwd.ldif
grep -E "${username}:" /etc/group > /opt/group.txt
/usr/share/migrationtools/migrate_group.pl /opt/group.txt /opt/group.ldif
ldapadd -x -D "uid=ldapadmin,ou=people,dc=testdomain,dc=com" -w esen1234 -f /opt/group.ldif
ldappasswd -x -D 'uid=ldapadmin,ou=people,dc=testdomain,dc=com' -w esen1234 "uid=${username},ou=people,dc=testdomain,dc=com" -S

sh /opt/adduser.sh ldapuser1（添加用户，下面输入密码）

New password:

Re-enter new password:

3.Hive集成LDAP

（1）HiveServer2 Authentication选用LDAP

（2）高级site.xml中添加以下配置

hive.server2.authentication.ldap.url=ldap://petabase.esen.com（主机名）

hive.server2.authentication.ldap.baseDN=ou=people,dc=testdomain,dc=com

保存后重启hive

（3）测试

beeline -u jdbc:hive2://petabase.esen.com:10000 -n ldapuser1 -p ldapuser1

必须输入ldap中已配置的用户名和密码才能正确连接

输入错误密码如下所示

4.Impala集成LDAP

1）配置（所有节点）

vi /etc/default/impala

IMPALA_SERVER_ARGS中增加以下内容

-enable_ldap_auth=true \
 -ldap_tls=false \
 -ldap_passwords_in_clear_ok=true \
 -ldap_uri=ldap://petabase.esen.com \
 -ldap_baseDN=ou=people,dc=testdomain,dc=com \

（2）重启impala服务

systemctl restart impala-catalog（所有节点）

systemctl restart impala-state-store（所有节点）

systemctl restart impala-server（主节点）

（3）impala-shell测试

impala-shell -u ldapuser1 -l --auth_creds_ok_in_clear（输入正确密码才可连接）

-i 集群中任意一台impalad服务器都可以

-u 登录用户

-l 使用ldap

–auth_creds_ok_in_clear 由于没有使用ssl，需要添加该参数。

（4）beeline测试

beeline -u jdbc:hive2://petabase.esen.com:21050 -n ldapuser1 -p ldapuser1

Hue集成太麻烦了，放弃。