CDH集群离线搭建(适用内网)——LDAP安装和配置⑪

最新推荐文章于 2024-08-27 15:06:15 发布
最新推荐文章于 2024-08-27 15:06:15 发布
阅读量776 收藏 5
点赞数 24
分类专栏： Hadoop 文章标签： hadoop 大数据 安全
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/M_red/article/details/136643672
版权

安装OpenLDAP

#安装OpenLDAP
yum -y install openldap-servers pam_ldap bind-utils

查看openldap版本号

#查看openldap版本号
slapd -VV
#安装完成后，more /etc/passwd 可以发现会自动新增的ldap用户
more /etc/passwd |grep ldap

配置openldap日志

#配置openldap日志
echo “local4.* /var/log/ldap.log” >> /etc/rsyslog.conf

service rsyslog restart

OpenLDAP服务配置

#将默认的两个配置文件复制到特定目录
cp /usr/share/openldap-servers/slapd.ldif /etc/openldap/slapd.ldif
cp /usr/share/openldap-servers/DB_CONFIG.example /var/lib/ldap/DB_CONFIG


#使用slappasswd生成安全密码
#设置密码123456，该密码用于超级用户(rootdn指定)
[root@node1 openldap]# slappasswd
New password: 
Re-enter new password: 
#{SSHA}7LhrsUWNrBbg+XjLkgzynEi2W5SJ9AUI

****************************************************************************************
#修改自己的域名
#进入/etc/openldap/slapd.d/cn=config文件夹

#更改olcDatabase={2}hdb.ldif文件
cd /etc/openldap/slapd.d/cn=config
vim olcDatabase={2}hdb.ldif
#修改内容如下
olcSuffix: dc=my-domain,dc=com
olcRootDN: cn=Manager,dc=my-domain,dc=com
#修改为
olcSuffix: dc=hadoop,dc=com
olcRootDN: cn=Manager,dc=hadoop,dc=com
#最后一行再加一个这个
olcRootPW:{SSHA}7LhrsUWNrBbg+XjLkgzynEi2W5SJ9AUI

#更改olcDatabase={1}monitor.ldif文件
vim olcDatabase={1}monitor.ldif
#修改内容如下
olcAccess: {0}to * by dn.base="gidNumber=0+uidNumber=0,cn=peercred,cn=extern
 al,cn=auth" read by dn.base="cn=Manager,dc=my-domain,dc=com" read by * none
#更改为
olcAccess: {0}to * by dn.base="gidNumber=0+uidNumber=0,cn=peercred,cn=extern
 al,cn=auth" read by dn.base="cn=Manager,dc=hadoop,dc=com" read by * none


#修改olcDatabase={0}config配置文件
#创建一个修改文件，例如 "modify.ldif"

dn: olcDatabase={0}config
changetype: modify
replace: olcAccess
olcAccess: {0}to * by dn.exact="cn=Manager,dc=hadoop,dc=com" manage by * none

#这个文件将替换 "olcAccess" 属性，只允许管理员用户 "cn=Manager,dc=hadoop,dc=com" 具有管理权限。
#执行文件进行修改
ldapmodify -Y EXTERNAL -H ldapi:/// -f modify.ldif

************************************************************************

验证OpenLDAP的基本配置

#验证OpenLDAP的基本配置
slaptest -u
#config file testing succeeded

启动OpenLDAP服务

#启动OpenLDAP服务
systemctl enable slapd
systemctl restart slapd
systemctl status slapd

查看OpenLDAP是否打开（默认端口389）

#查看OpenLDAP是否打开（默认端口389）
netstat -antup|grep 389
#tcp	0	0 0.0.0.0:389	0.0.0.0:*	LISTEN	4365/slapd
#tcp6	0 	0 :::389 		:::*     	LISTEN	4365/slapd

配置OpenLDAP数据库

#配置OpenLDAP数据库
cp /usr/share/openldap-servers/DB_CONFIG.example /var/lib/ldap/DB_CONFIG

#赋予权限 /var/lib/ldap/目录为ladp:ladp
#且权限为：chown 777 /var/lib/ldap
chown ldap:ldap -R /var/lib/ldap
chmod 777 -R /var/lib/ldap

#/var/lib/ldap/就是BerkeleyDB数据库默认存储的路径

导入基本Schema

#导入基本Schema

ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/cosine.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/nis.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/inetorgperson.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/collective.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/corba.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/duaconf.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/dyngroup.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/java.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/misc.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/openldap.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/pmi.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/ppolicy.ldif

修改migrate_common.ph文件

#修改migrate_common.ph文件
migrate_common.ph文件主要是用于生成ldif文件使用，修改migrate_common.ph文件，如下：
vim /usr/share/migrationtools/migrate_common.ph +71

安装migrationtools工具

#安装migrationtools工具
yum install migrationtools -y --enablerepo=rhel-yum

yum -y install migrationtools


#更改配置文件vim /usr/share/migrationtools/migrate_common.ph +71
vim /usr/share/migrationtools/migrate_common.ph +71

#根据自身域名更改
$DEFAULT_MAIL_DOMAIN = "hadoop.com";
# 根据自身域名更改
$DEFAULT_BASE = "dc=hadoop,dc=com";
# 0--->1
$EXTENDED_SCHEMA = 1;

通过./migrate_base.pl 生产base.ldif,并导入ldap DB

#通过./migrate_base.pl  生产base.ldif,并导入ldap DB

cd /usr/share/migrationtools/
./migrate_base.pl > /root/base.ldif



vim /root/base.ldif


dn: dc=hadoop,dc=com
dc: hadoop
objectClass: top
objectClass: domain
objectClass: domainRelatedObject
associatedDomain: hadoop.com

.........

dn: ou=Services,dc=hadoop,dc=com
ou: Services
objectClass: top
objectClass: organizationalUnit
objectClass: domainRelatedObject
associatedDomain: hadoop.com

添加base

#添加base
ldapadd -x -W -D "cn=Manager,dc=hadoop,dc=com" -f /root/base.ldif
#添加并覆盖base
ldapadd -x -W -D "cn=Manager,dc=hadoop,dc=com" -c -f /root/base.ldif
#查看
ldapsearch -x -b "ou=People,dc=hadoop,dc=com" "(uid=base)"

创建ldap user的home目录 以及添加ldap user

#创建ldap user的home目录 以及添加ldap user
mkdir /home/ldap/

修改配置文件/etc/openldap/ldap.conf

#修改配置文件/etc/openldap/ldap.conf
BASE    dc=hadoop,dc=com
URI     ldap://172.21.35.243:389

启动LDAP服务

#启动LDAP服务
systemctl enable slapd
systemctl start slapd
systemctl status slapd

从节点客户端安装

#从节点客户端安装
yum -y install openldap-clients

添加根域及管理员账号(在服务端进行添加)

#添加根域及管理员账号(在服务端进行添加)
vim root.ldif

dn: dc=hadoop,dc=com
dc: hadoop
objectClass: top
objectClass: domain

dn: cn=Manager,dc=hadoop,dc=com
cn: Manager
objectClass: organizationalRole

命令运行

ldapadd -x -D "cn=Manager,dc=hadoop,dc=com" -w 123456 -f root.ldif

添加基础文件及用户和用户组(在服务端进行添加)

#添加基础文件及用户和用户组(在服务端进行添加)
vim base.ldif

dn: ou=People,dc=hadoop,dc=com
ou: People
objectClass: top
objectClass: organizationalUnit

dn: ou=Group,dc=hadoop,dc=com
ou: Group
objectClass: top
objectClass: organizationalUnit

ldapadd -x -D "cn=Manager,dc=hadoop,dc=com" -w 123456 -f base.ldif

添加用户和用户组

#添加用户和用户组
vim testuser.ldif

dn: cn=testuser,ou=Group,dc=hadoop,dc=com
objectClass: posixGroup
objectClass: top
cn: testuser
gidNumber: 3001
memberUid: testuser

dn: uid=testuser,ou=People,dc=hadoop,dc=com
uid: testuser
cn: testuser
objectClass: account
objectClass: posixAccount
objectClass: top
userPassword: testuser
loginShell: /bin/bash
uidNumber: 3001
gidNumber: 3001
homeDirectory: /home/testuser

ldapadd -x -D "cn=Manager,dc=hadoop,dc=com" -w 123456 -f testuser.ldif

添加hive用户

#添加hive用户
vim hive.ldif

dn: cn=hive,ou=Group,dc=hadoop,dc=com
objectClass: posixGroup
objectClass: top
cn: hive
gidNumber: 1001
memberUid: hive

dn: uid=hive,ou=People,dc=hadoop,dc=com
uid: hive
cn: hive
objectClass: account
objectClass: posixAccount
objectClass: top
userPassword: hive
loginShell: /bin/bash
uidNumber: 1001
gidNumber: 1001
homeDirectory: /home/hive

ldapadd -x -D "cn=Manager,dc=hadoop,dc=com" -w 123456 -f hive.ldif

#查看用户信息
ldapsearch -x -D "cn=Manager,dc=hadoop,dc=com" -w 123456 -b 'ou=People,dc=hadoop,dc=com' 

#ldapsearch -x -LLL -D "cn=testuser,dc=hadoop,dc=com" -w 123456 -H ldap://172.21.35.243 -b "dc=hadoop,dc=com" "(objectclass=*)"

#查看用户组信息

ldapsearch -x -D "cn=Manager,dc=hadoop,dc=com" -w 123456 -b 'ou=Group,dc=hadoop,dc=com'

#删除用户信息
ldapdelete -x -D "cn=Manager,dc=hadoop,dc=com" -w 123456 'uid=testuser,ou=People,dc=hadoop,dc=com'

#删除组信息
ldapdelete -x -D "cn=Manager,dc=galaxy,dc=com" -w 123456 'cn=testuser,ou=Group,dc=galaxy,dc=com'
小戈爱学习
关注
专栏目录
CDH集成LDAP配置
qxf1374268的博客
02-13 5495
转载自JavaChen Blog，作者：JavaChen 原文链接地址：http://blog.javachen.com/2014/11/12/config-ldap-with-kerberos-in-cdh-hadoop.html 参考上面基本配置，添加了部分配置 本文主要记录 cdh hadoop 集群集成 ldap 的过程，这里 ldap 安装的是 OpenLDAP 。LD...
cdh集成ldap
weixin_38655836的博客
05-05 5033
主要参考的服务的网址： 经过测试，如果根据腾讯云中的这个文档中的指示，把hiveadmin当成是hive的超级用户的话，会出现sentry赋权有问题的情况（那个hue中的加号（添加role）出不来），所以后面出现hiveadmin用户的情况，这里后面都需要变成hive，就可以了 03-Active Directory的使用与验证： https://mp.weixin.qq.com/s?__biz=...
CDH6.3.2 配置LDAP+kerberos
h952520296的博客
04-08 2633
本文主要记录 cdhhadoop集群集成 ldap 的过程，这里 ldap 安装的是 OpenLDAP 。LDAP 用来做账号管理，Kerberos作为认证。授权一般由Sentry来决定的。 集群包括7个节点，每个节点的ip、主机名和部署的组件分配如下： 192.168.0.200 master Kerberos KDC 、OpenLDAP 192.168.0.201 slave1 kerberos client、ldap client 192.168.0.202 s..
Kerberos、LDAP、SSSD 部署示例教程
最新发布
Boundivore的博客
08-27 1016
此篇文章主要用于示例如何在 Centos7.x 操作系统上手动部署 KERBEROS LDAP SSSD 服务，便于用户了解这 3 个服务的部署以及使用过程。如果需要实现自动部署，可前往 DataLight 官网下载 DataLight 平台，通过开源项目自动化部署上述服务。操作过程中，将假设未来会在完全离线的私有化环境中进行安装部署，因此，除了下载资源需要在有外网的节点上进行，其余操作，均可在完全离线的环境中进行，但其中需要确保系统的版本与依赖项是相关的。
CDH安装配置LDAP
huguoping830623的专栏
05-09 2939
安装OpenLDAP 安装机器：slave-04 1 安装openldap yum install -y openldap openldap-servers openldap-clients 2 修改配置文件  cp /usr/share/openldap-servers/slapd.conf.obsolete /etc/openldap/slapd.conf  cp
Hadoop配置LDAP集成Kerberos
a118170653的专栏
02-03 4886
本文主要记录 cdh hadoop 集群集成 ldap 的过程，这里 ldap 安装的是 OpenLDAP 。LDAP 用来做账号管理，Kerberos作为认证。授权一般来说是由应用来决定的，通过在 LDAP 数据库中配置一些属性可以让应用程序来进行授权判断。 关于 Kerberos 的安装和 HDFS 配置 kerberos 认证，请参考 HDFS配置kerberos认证。 参考 使
CDH5离线安装和配置指南
08-23
### CDH5离线安装与配置详解 #### 一、CDH5简介 **CDH**(Cloudera's Distribution including Apache Hadoop)是由Cloudera公司维护并开发的一个Hadoop发行版。它基于Apache Hadoop的稳定版本构建，并集成了大量的...
cdh6.3.1离线完整版（百度网盘下载）
08-04
CDH安装包
CDH5.12离线搭建教程详解版
08-06
centos下cdh离线搭建详细过程，一些搭建过程中的小坑均有介绍
CDH6.3.2离线安装部署下载
02-16
1、完整的CDH6.3.2离线安装包，包含CM6.3.1 2、离线安装部署文档
CDH5.14离线搭建.md
05-26
### CDH5.14离线搭建详细指南 #### 一、搭建前的准备工作 ##### 1. 需要用到的工具包 为了确保CDH5.14的顺利安装，我们需要准备以下软件包： - **Cloudera Manager (CM) 下载：** - [官方下载地址]...
大数据组件集成LDAP
11-12
大数据组件集成LDAP的安装手册，可以快速搭建大数据安全服务。
CDH6 配置LDAP，Kerberos，Sentry
weixin_40004348的博客
10-14 2621
CDH6 配置LDAP，Kerberos，Sentry 1. 开启Sentry 控制Hive，Hue，Impala权限 1.1 在mysql中配置数据库 [root@cdh1 ~]# mysql -uroot -p //登陆mysql mysql> CREATE DATABASE sentry DEFAULT CHARACTER SET utf8; //创建sentry库 mysql> grant all on sentry.* to 'sentry'@'%' identified
ldap-CDH官网
DCHAO的博客
07-22 478
CDH官网-配置ldap组映射 Each host that comprises a node in a Cloudera cluster runs an operating system, such as CentOS or Oracle Linux. At the OS-level, there are user:group accounts created during installation that map to the services running on that specific nod
CDH集群启用Sentry Kerberos LDAP
小陌成长之路
04-14 774
CDH集群启用Sentry Kerberos LDAP
CDH
mark's technic world
02-16 1364
/usr/share/cmf/uninstall-cloudera-manager.sh
2个CDH 使用一个kerberos 和 LDAP
kingrootZ的博客
04-01 297
2个CDH平台使用同一套kerberos和LDAP做认证
全网最全Centos7.9搭建LDAP服务器+图形界面
陪我养猪吧的博客
07-21 6207
本文将深入探讨如何在CentOS 7.9操作系统上搭建LDAP（轻量级目录访问协议）服务器，并配备图形化界面，以实现高效的用户管理。LDAP是一种强大的用户认证和授权协议，它可以帮助组织轻松管理大量用户和资源，提高整体安全性和工作效率。
OpenLDAP安装部署
友人A的博客
01-11 2169
环境 系统版本： CentOS Linux release 7.6.1810 (Core) OpenLDAP版本： OpenLDAP: slapd 2.4.44 LDAP服务端IP：192.168.75.129 一、安装相关软件 1、使用yum安装 [root@xph ~]# yum install -y openldap openldap-clients openldap-servers compat-openldap openldap-devel 2、安装libdb相关依赖 [ro
CDH5.15.1离线安装全攻略：从环境到集群
CDH集群的安装主要包括配置集群主机，即将各节点加入到集群中，并安装一系列服务，如Hadoop（HDFS）、YARN负责数据存储和处理调度，HBase提供分布式数据库服务，Hive提供了SQL接口的数据仓库工具，MapReduce是处理大...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值