Ranger2.4+OpenLdap 用户权限管理

已于 2023-07-14 14:32:10 修改
阅读量1k 收藏 3
点赞数
文章标签： hive spark yarn hadoop 大数据 数据仓库 aws
于 2023-07-13 11:34:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41838722/article/details/131697730
版权

介绍

使用openldap做统一用户管理
使用ranger做用户权限管理
对Hdfs,Hive,Spark,Trino,Yarn进行权限控制

openLdap用户

执行以下命令，添加用户，用户组

组用户用户用户
shuguoliubeiguanyuzhangfei
weiguocaocaocaopicaozhi
wuguoshunquanshuncelvmeng
user='zhangfei'  #替换用户名
EXAMPLE_GROUP='shuguo'  #替换用户所属组


USER_UID=$((2000+$RANDOM%999))

OPENLDAP_ROOT_DN='cn=admin,dc=example,dc=com'
OPENLDAP_ROOT_PASSWORD='Admin1234!'
OPENLDAP_USERS_BASE_DN='ou=users,dc=example,dc=com'
COMMON_DEFAULT_PASSWORD='Admin1234!'
OPENLDAP_BASE_DN='dc=example,dc=com'

ldapsearch -D "$OPENLDAP_ROOT_DN" -w $OPENLDAP_ROOT_PASSWORD -b "cn=$EXAMPLE_GROUP,ou=groups,$OPENLDAP_BASE_DN" >& /dev/null
if [ "$?" != "0" ]; then
    GROUP_GID=$((3000+$RANDOM%999))
    echo "用户组不存在 --${GROUP_GID}"
else
    GROUP_GID=`ldapsearch -D "$OPENLDAP_ROOT_DN" -w $OPENLDAP_ROOT_PASSWORD -b "ou=groups,$OPENLDAP_BASE_DN" -s sub "(&(objectClass=posixGroup)(cn=$EXAMPLE_GROUP))" gidNumber | grep "^gidNumber:" | awk '{print $2}'`
    echo "用户组存在 --${GROUP_GID}"
fi


# add user
cat << EOF | ldapadd -D "$OPENLDAP_ROOT_DN" -w $OPENLDAP_ROOT_PASSWORD
dn: uid=$user,$OPENLDAP_USERS_BASE_DN
objectClass: posixAccount
objectClass: top
objectClass: inetOrgPerson
uid: $user
displayName: $user
sn: $user
homeDirectory: /home/$user
cn: $user
uidNumber: $USER_UID
gidNumber: $GROUP_GID
userPassword: $(slappasswd -s $COMMON_DEFAULT_PASSWORD)
EOF

#检查是否有groups，如果不存在就创建，如果存在就直接把刚刚的用户添加到groups中
ldapsearch -D "$OPENLDAP_ROOT_DN" -w $OPENLDAP_ROOT_PASSWORD -b "cn=$EXAMPLE_GROUP,ou=groups,$OPENLDAP_BASE_DN" >& /dev/null
if [ "$?" != "0" ]; then
    echo '不存在，需要创建'
    cat << EOF | ldapadd -D "$OPENLDAP_ROOT_DN" -w $OPENLDAP_ROOT_PASSWORD
dn: cn=$EXAMPLE_GROUP,ou=groups,$OPENLDAP_BASE_DN
cn: $EXAMPLE_GROUP
objectclass: top
objectclass: posixGroup
gidNumber: $GROUP_GID
memberUid: $user
EOF
else
    echo '已经存在添加用户'
    cat << EOF | ldapmodify -D "$OPENLDAP_ROOT_DN" -w $OPENLDAP_ROOT_PASSWORD
dn: cn=$EXAMPLE_GROUP,ou=groups,$OPENLDAP_BASE_DN
changetype: modify
add: memberUid
memberUid: $user
EOF
fi

查看openldap用户，用户组
ldapsearch -x -D “cn=admin,dc=example,dc=com” -w ‘Admin1234!’ -b “ou=groups,dc=example,dc=com”

# shuguo, groups, example.com
dn: cn=shuguo,ou=groups,dc=example,dc=com
cn: shuguo
objectClass: top
objectClass: posixGroup
gidNumber: 3563
memberUid: liubei
memberUid: guanyu
memberUid: zhangfei

# weiguo, groups, example.com
dn: cn=weiguo,ou=groups,dc=example,dc=com
cn: weiguo
objectClass: top
objectClass: posixGroup
gidNumber: 3358
memberUid: caocao
memberUid: caopi
memberUid: caozhi

# wuguo, groups, example.com
dn: cn=wuguo,ou=groups,dc=example,dc=com
cn: wuguo
objectClass: top
objectClass: posixGroup
gidNumber: 3847
memberUid: shunquan
memberUid: shunce
memberUid: lvmeng

master sssd节点用户，用户组同步

sudo systemctl restart sssd
sudo sss_cache -E


SSD同步成功：
[hadoop@ip-10-0-29-52 ~]$ id liubei
uid=2117(liubei) gid=3563(shuguo) groups=3563(shuguo)
[hadoop@ip-10-0-29-52 ~]$ id guanyu
uid=2664(guanyu) gid=3563(shuguo) groups=3563(shuguo)
[hadoop@ip-10-0-29-52 ~]$ id zhangfei
uid=2937(zhangfei) gid=3563(shuguo) groups=3563(shuguo)

[hadoop@ip-10-0-29-52 ~]$ id caocao
uid=2838(caocao) gid=3358(weiguo) groups=3358(weiguo)
[hadoop@ip-10-0-29-52 ~]$ id caopi
uid=2210(caopi) gid=3358(weiguo) groups=3358(weiguo)
[hadoop@ip-10-0-29-52 ~]$ id caozhi
uid=2137(caozhi) gid=3358(weiguo) groups=3358(weiguo)

[hadoop@ip-10-0-29-52 ~]$ id shunquan
uid=2689(shunquan) gid=3847(wuguo) groups=3847(wuguo)
[hadoop@ip-10-0-29-52 ~]$ id shunce
uid=2092(shunce) gid=3847(wuguo) groups=3847(wuguo)
[hadoop@ip-10-0-29-52 ~]$ id lvmeng
uid=2215(lvmeng) gid=3847(wuguo) groups=3847(wuguo)

重启ranger-sync服务

sudo ranger-usersync restart

ranger-admin查看同步成功
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传UQ(img-80dMfTh3-1689216967321)(typora-user-images\image-20230711160030717.png)(typora-user-images\image-20230711160030717.png)]在这里插入图片描述
hue手动添加用户组

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-G3brgqxu-1689216967324)(typora-user-images\image-20230712101401039.png)]

测试场景

测试用户：

只给liubei用户权限

测试组：

给weiguo组权限

测试role：

创建role，并绑定guanyu用户,绑定wuguo组，然后给role权限

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-99w9esLP-1689216967325)(typora-user-images\image-20230711160356065.png)]

Hadoop 插件

hadoop fs -mkdir /ranger-test

hadoop fs -chown hadoop:hadoop /ranger-test

hadoop fs -chmod 700 /ranger-test

该文件夹除了hadoop用户以外都没有权限查看

未授权：

用户

用户liubei 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vZhBfko6-1689216967326)(typora-user-images\image-20230711161600762.png)]

组

weiguo组中用户caocao 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-o3onp62P-1689216967327)(typora-user-images\image-20230711161938944.png)]

Role

用户guanyu

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hfbuuuIc-1689216967328)(typora-user-images\image-20230711162325710.png)]

wuguo组中shunquan 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X62sgIMi-1689216967329)(typora-user-images\image-20230711162433543.png)]

授权：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-d4PFuvqu-1689216967330)(typora-user-images\image-20230711162604122.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ejsc8Ylf-1689216967330)(typora-user-images\image-20230711162647529.png)]

sudo ./disable-hdfs-plugin.sh

sudo ./enable-hdfs-plugin.sh

插件可能需要重装一下，重启服务

用户

用户liubei 权限被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2sfosAYZ-1689216967330)(typora-user-images\image-20230711163308535.png)]

组

weiguo组中用户caocao 权限被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UtYITJ9q-1689216967331)(typora-user-images\image-20230711163329805.png)]

Role

用户guanyu权限被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7SWGsu4m-1689216967331)(typora-user-images\image-20230711163201815.png)]

wuguo组中shunquan 权限被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IHmvu5Mx-1689216967332)(typora-user-images\image-20230711163141973.png)]

Hive 插件

未授权：

将ranger权限全部清空

用户

用户liubei 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1WqmM3dZ-1689216967332)(typora-user-images\image-20230711164421758.png)]

组

weiguo组中用户caocao 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xYzAxCL8-1689216967333)(typora-user-images\image-20230711165430868.png)]

Role

用户guanyu权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ayRnCFrT-1689216967333)(typora-user-images\image-20230711170628395.png)]

wuguo组中shunquan 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tmcr4MDc-1689216967334)(typora-user-images\image-20230711170122898.png)]

授权：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-scZDNVSs-1689216967334)(typora-user-images\image-20230711170906007.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3NOL7DKm-1689216967334)(typora-user-images\image-20230711170923277.png)]

sudo ./disable-hive-plugin.sh
sudo ./enable-hive-plugin.sh
重启一下hive相关服务

用户

用户liubei 权限被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OsaEztnS-1689216967335)(typora-user-images\image-20230711172649395.png)]

组

weiguo组中用户caocao 权限被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7l3cDcTn-1689216967335)(typora-user-images\image-20230711172457435.png)]

Role

用户guanyu

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DbYaBLNP-1689216967335)(typora-user-images\image-20230711172603188.png)]

wuguo组中shunquan 权限被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rIoaTyGM-1689216967336)(typora-user-images\image-20230711172537903.png)]

Spark 插件

未授权：

将ranger权限全部清空

用户

用户liubei 权限被禁止

spark-sql --master yarn --deploy-mode client --conf 'spark.sql.extensions=org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension' --proxy-user liubei

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EFt4YwyO-1689216967336)(typora-user-images\image-20230711175124237.png)]

组

weiguo组中用户caocao 权限被禁止

spark-sql --master yarn --deploy-mode client --conf 'spark.sql.extensions=org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension' --proxy-user caocao

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mzlt8WSm-1689216967336)(typora-user-images\image-20230711175023640.png)]

Role

用户guanyu权限被禁止

spark-sql --master yarn --deploy-mode client --conf 'spark.sql.extensions=org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension' --proxy-user guanyu

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1LReQeOh-1689216967337)(typora-user-images\image-20230711174908535.png)]

wuguo组中shunquan 权限被禁止

spark-sql --master yarn --deploy-mode client --conf 'spark.sql.extensions=org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension' --proxy-user shunquan

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ceYqT5ji-1689216967337)(typora-user-images\image-20230711174754637.png)]

授权：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jy4aKgLz-1689216967337)(typora-user-images\image-20230711174632672.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iuoh0t6Y-1689216967338)(typora-user-images\image-20230711174649300.png)]

用户

用户liubei 权限被允许

spark-sql --master yarn --deploy-mode client --conf 'spark.sql.extensions=org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension' --proxy-user liubei

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7UDHUiJf-1689216967338)(typora-user-images\image-20230711174303608.png)]

组

weiguo组中用户caocao 权限被允许

spark-sql --master yarn --deploy-mode client --conf 'spark.sql.extensions=org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension' --proxy-user caocao

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AKFQdMi7-1689216967339)(typora-user-images\image-20230711174411539.png)]

Role

用户guanyu权限被允许

spark-sql --master yarn --deploy-mode client --conf 'spark.sql.extensions=org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension' --proxy-user guanyu

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wnlHKPY2-1689216967339)(typora-user-images\image-20230711174505923.png)]

wuguo组中shunquan 权限被允许

spark-sql --master yarn --deploy-mode client --conf 'spark.sql.extensions=org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension' --proxy-user shunquan

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ljQIW2En-1689216967339)(typora-user-images\image-20230711174613767.png)]

Trino 插件

未授权：

将ranger权限全部清空

用户

用户liubei 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZQoGAwFf-1689216967340)(typora-user-images\image-20230712103443079.png)]

组

weiguo组中用户caocao 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PmfHxAUa-1689216967340)(typora-user-images\image-20230712103513863.png)]

Role

用户guanyu权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9t9B4VMF-1689216967340)(typora-user-images\image-20230712103537517.png)]

wuguo组中shunquan 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lftTbvl3-1689216967341)(typora-user-images\image-20230712103603777.png)]

授权：

https://blog.csdn.net/qq_36096641/article/details/127518912

注意Trino的权限需要对每一访问层级进行设置，比如

catalog 级别

catalog + schema 级别

catalog + schema + table 级别

并且需要配置用户可访问information_schema这个trino元数据库，这样才能访问其它的表
————————————————

catalog级别：
在这里插入图片描述

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CxAyvXo2-1689216967341)(typora-user-images\image-20230712110036058.png)]

information_schema元数据库：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FKfsOwDZ-1689216967342)(typora-user-images\image-20230712110118510.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LZHgG1Rp-1689216967342)(typora-user-images\image-20230712110135690.png)]

catalog + schema 级别：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aODpflKb-1689216967343)(typora-user-images\image-20230712110215801.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eMtHRtZQ-1689216967345)(typora-user-images\image-20230712110230747.png)]

catalog + schema + table 级别

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FNdaPGdN-1689216967345)(typora-user-images\image-20230712103838413.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jK0VIU9s-1689216967346)(typora-user-images\image-20230712103858276.png)]

用户

用户liubei 权限被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iNTZ8Pb7-1689216967346)(typora-user-images\image-20230712105611704.png)]

组

weiguo组中用户caocao 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3M01KlXe-1689216967346)(typora-user-images\image-20230712105909860.png)]

trino-plugin支持组失败，修改配置/usr/lib/trino/etc/access-control.properties，
请参考：https://blog.csdn.net/qq_40616823/article/details/123008319#:~:text=%E9%80%9A%E8%BF%87debug%E5%8F%91%E7%8E%B0this.useUgi%E9%BB%98%E8%AE%A4%E6%98%AFfalse

添加：ranger.use_ugi=true

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BWkslpzS-1689216967346)(typora-user-images\image-20230712144655315.png)]

Role

用户guanyu权限被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Opcl28IC-1689216967347)(typora-user-images\image-20230712105803756.png)]

wuguo组中shunquan 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XrfAXHG5-1689216967347)(typora-user-images\image-20230712105838952.png)]

trino-plugin支持组失败，修改配置/usr/lib/trino/etc/access-control.properties，
请参考：https://blog.csdn.net/qq_40616823/article/details/123008319#:~:text=%E9%80%9A%E8%BF%87debug%E5%8F%91%E7%8E%B0this.useUgi%E9%BB%98%E8%AE%A4%E6%98%AFfalse

添加：ranger.use_ugi=true

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SKozZDSE-1689216967347)(typora-user-images\image-20230712145738028.png)]

Yarn 插件

yarn配置队列

[
	{
		"classification": "yarn-site",
		"properties": {
			"yarn.scheduler.capacity.queue-mappings-override.enable": "true",
			"yarn.acl.enable": "true"
		}
	},
	{
		"classification": "capacity-scheduler",
		"properties": {
			"yarn.scheduler.capacity.queue-mappings": "u:hadoop:default,u:caocao:weiguo,u:liubei:shuguo,u:shunquan:wuguo,u:guanyu:shuguo,u:zhangfei:shuguo,u:shunce:wuguo,u:lvmeng:wuguo,u:caopi:weiguo,u:caozhi:weiguo",
			"yarn.scheduler.capacity.root.queues": "default,shuguo,weiguo,wuguo",
			"yarn.scheduler.capacity.root.capacity": "100",
			"yarn.scheduler.capacity.root.acl_administer_queue": "",
			"yarn.scheduler.capacity.root.acl_submit_applications": "",
			
			"yarn.scheduler.capacity.root.default.capacity": "10",
			"yarn.scheduler.capacity.root.default.maximum-capacity": "60",
			"yarn.scheduler.capacity.root.default.acl_administer_queue": "hadoop",
			"yarn.scheduler.capacity.root.default.acl_submit_applications": "caocao,liubei,shunquan,guanyu,zhangfei,shunce,lvmeng,caopi,caozhi",
			
			"yarn.scheduler.capacity.root.shuguo.capacity": "30",
			"yarn.scheduler.capacity.root.shuguo.maximum-capacity": "70",
			"yarn.scheduler.capacity.root.shuguo.acl_administer_queue":"hadoop",
			"yarn.scheduler.capacity.root.shuguo.acl_submit_applications": "",
			
			"yarn.scheduler.capacity.root.weiguo.capacity": "30",
			"yarn.scheduler.capacity.root.weiguo.maximum-capacity": "70",
			"yarn.scheduler.capacity.root.weiguo.acl_administer_queue": "hadoop",
			"yarn.scheduler.capacity.root.weiguo.acl_submit_applications": "",
			
			"yarn.scheduler.capacity.root.wuguo.capacity": "30",
			"yarn.scheduler.capacity.root.wuguo.maximum-capacity": "70",
			"yarn.scheduler.capacity.root.wuguo.acl_administer_queue": "hadoop",
			"yarn.scheduler.capacity.root.wuguo.acl_submit_applications": "",
			
			"yarn.scheduler.capacity.resource-calculator": "org.apache.hadoop.yarn.util.resource.DominantResourceCalculator"
		}
	}
]

配置如下(注意：配置的ranger.add-yarn-authorization=false会无视下面这个配置)：

liubei,guanyu,zhangfei 默认提交到shuguo

caocao,caopi,caozhi 默认提交到weiguo

shunquan,shunce,lvmeng 默认提交到wuguo

但是都没有权限提交，需要ranger授权才行

未授权：

将ranger权限全部清空

并配置

By default, fallback to YARN ACLs are enabled. If access cannot be determined by Ranger policies, authorization will fall back to YARN ACLs. If this behavior needs to be changed, modify YARN plugin config - ranger.add-yarn-authorization.

默认情况下，允许回退到YARN acl。如果访问不能由Ranger策略确定，则授权将返回到YARN acl。如果需要修改此行为，请修改YARN plugin config - ranger.add-yarn-authorization。

禁用yarn默认的ACL，都从ranger-yarn通过

sudo vim /usr/lib/hadoop-yarn/etc/hadoop/ranger-yarn-security.xml

<property>
                <name>ranger.add-yarn-authorization</name>
                <value>false</value>
</property>

sudo systemctl restart hadoop-yarn-resourcemanager.service

提前准备用户在hdfs上的文件

hadoop fs -mkdir /user/liubei
hadoop fs -chown liubei:liubei /user/liubei

hadoop fs -mkdir /user/caocao
hadoop fs -chown caocao:caocao /user/caocao

hadoop fs -mkdir /user/guanyu
hadoop fs -chown guanyu:guanyu /user/guanyu

hadoop fs -mkdir /user/shunquan
hadoop fs -chown shunquan:shunquan /user/shunquan

用户

用户liubei 提交到shuguo权限被禁止

spark-submit \
--master yarn \
--deploy-mode cluster \
--proxy-user liubei \
--queue shuguo \
--class  org.apache.spark.examples.SparkPi  /usr/lib/spark/examples/jars/spark-examples.jar

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QA6gRf8w-1689216967347)(typora-user-images\image-20230712163733534.png)]

组

weiguo组中用户caocao 提交到weiguo权限被禁止

spark-submit \
--master yarn \
--deploy-mode cluster \
--proxy-user caocao \
--queue weiguo \
--class  org.apache.spark.examples.SparkPi  /usr/lib/spark/examples/jars/spark-examples.jar

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RXde9W71-1689216967348)(typora-user-images\image-20230712163702484.png)]

Role

用户guanyu提交到wuguo 权限被禁止

spark-submit \
--master yarn \
--deploy-mode cluster \
--proxy-user guanyu \
--queue wuguo \
--class  org.apache.spark.examples.SparkPi  /usr/lib/spark/examples/jars/spark-examples.jar

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oRvoSE3c-1689216967348)(typora-user-images\image-20230712163640343.png)]

wuguo组中shunquan提交到wuguo 权限被禁止

spark-submit \
--master yarn \
--deploy-mode cluster \
--proxy-user shunquan \
--queue wuguo \
--class  org.apache.spark.examples.SparkPi  /usr/lib/spark/examples/jars/spark-examples.jar

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0sfDqLTC-1689216967348)(typora-user-images\image-20230712163909424.png)]

授权：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4y8nIbKn-1689216967349)(typora-user-images\image-20230712164401200.png)]

授权用户

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5ohDWwVy-1689216967350)(typora-user-images\image-20230712164430254.png)]

授权组

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-S04ULrWH-1689216967351)(typora-user-images\image-20230712164454420.png)]

授权role

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Gb6Y18TV-1689216967351)(typora-user-images\image-20230712164528064.png)]

用户

用户liubei 提交到shuguo权限被允许

spark-submit \
--master yarn \
--deploy-mode cluster \
--proxy-user liubei \
--queue shuguo \
--class  org.apache.spark.examples.SparkPi  /usr/lib/spark/examples/jars/spark-examples.jar

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xJxbBbvd-1689216967351)(typora-user-images\image-20230712164701975.png)]

组

weiguo组中用户caocao 提交到weiguo权限被允许

spark-submit \
--master yarn \
--deploy-mode cluster \
--proxy-user caocao \
--queue weiguo \
--class  org.apache.spark.examples.SparkPi  /usr/lib/spark/examples/jars/spark-examples.jar

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FbeojX8V-1689216967351)(typora-user-images\image-20230712164749898.png)]

Role

用户guanyu提交到wuguo 权限被允许

spark-submit \
--master yarn \
--deploy-mode cluster \
--proxy-user guanyu \
--queue wuguo \
--class  org.apache.spark.examples.SparkPi  /usr/lib/spark/examples/jars/spark-examples.jar

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hB4n7SBp-1689216967352)(typora-user-images\image-20230712164848638.png)]

wuguo组中shunquan提交到wuguo 权限被允许

spark-submit \
--master yarn \
--deploy-mode cluster \
--proxy-user shunquan \
--queue wuguo \
--class  org.apache.spark.examples.SparkPi  /usr/lib/spark/examples/jars/spark-examples.jar

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-z4gdEbDj-1689216967352)(typora-user-images\image-20230712164938673.png)]

Spark Sql+结合Livy

由于spark sql在hue上通过livy进行提交

因此：配置sudo vim /etc/livy/conf/livy.conf

livy.impersonation.enabled: true

使得根据对应的hue用户初始化session环境

tail -f /var/log/livy/livy-livy-server.out

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-l8QDcf9m-1689216967352)(typora-user-images\image-20230712171433955.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Kh0er2mf-1689216967353)(typora-user-images\image-20230712171407268.png)]

由于初始环境的时候，并没有指定配置

–conf ‘spark.sql.extensions=org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension’ ，因此并不能管住权限

修改sudo vim /etc/spark/conf/spark-defaults.conf，添加配置

spark.sql.extensions org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension

重新初始化session，并查看spark webui，可以看到配置如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-INJeC03t-1689216967353)(typora-user-images\image-20230712172321077.png)]

未授权

将ranger权限全部清空

用户

用户liubei 提交到shuguo，但是查询被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZNlxLR8S-1689216967354)(typora-user-images\image-20230712175719148.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GTz0cJs7-1689216967354)(typora-user-images\image-20230712175746074.png)]

组

weiguo组中用户caocao提交到weiuo，但是查询被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-P1yCcxrA-1689216967354)(typora-user-images\image-20230712175524358.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-taAWtbEO-1689216967355)(typora-user-images\image-20230712175551530.png)]

Role

用户guanyu在livy初始化环境的时候失败，因为guanyu默认提交的队列为shuguo，但是ranger并没有给其权限

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yehXsBs7-1689216967355)(typora-user-images\image-20230712175316891.png)]

wuguo组中shunquan提交到wuguo ，但是查询被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lGTVOPWo-1689216967355)(typora-user-images\image-20230712175051672.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mGF7SNpn-1689216967356)(typora-user-images\image-20230712175011601.png)]

授权

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tSUVGUaz-1689216967356)(typora-user-images\image-20230711174649300.png)]

用户

用户liubei 提交到shuguo，并且查询被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Qoga1B5N-1689216967356)(typora-user-images\image-20230712173302678.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7ueysfpH-1689216967357)(typora-user-images\image-20230712172909916.png)]

组

weiguo组中用户caocao提交到weiuo，并且查询被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-akEk8PfX-1689216967357)(typora-user-images\image-20230712173244536.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CqjW5qmw-1689216967358)(typora-user-images\image-20230712173407261.png)]

Role

用户guanyu在livy初始化环境的时候失败，因为guanyu默认提交的队列为shuguo，但是ranger并没有给其权限

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Kif0mVdt-1689216967358)(typora-user-images\image-20230712173943719.png)]

wuguo组中shunquan提交到wuguo ，并且查询被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-f6O4mgIs-1689216967358)(typora-user-images\image-20230712174245110.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NAWfkqyL-1689216967359)(typora-user-images\image-20230712174339478.png)]

Jrebe
关注
Ldap集成Ranger应用服务
anguoan的博客
10-28 484
Ldap集成Ranger应用服务
Apache Ranger添加用户并给用户添加kafka权限
zhengzaifeidelushang的博客
12-28 892
Apache Ranger添加用户并给用户添加kafka权限一、添加新用户二、为用户添加kafka权限 一、添加新用户 查看创建好的用户 二、为用户添加kafka权限 进入kafka权限管理界面如下所示： kafka权限主要分为以下几种： topic transactionalid cluster delegationtoken consumergroup ...
LDAP系列三用户权限控制
xyy511的专栏
05-24 9699
二：权限控制 8.1：访问控制 访问控制主要是通过在slapd.conf文件中配置来实现，具体配置解析如下： # Sample Access Control # Allow read access of root DSE # Allow self write access # Allow authenticated users read access #...
Apache Ranger 2.4编译打包
最新发布
longxibo的博客
09-06 695
Apache Ranger 编译打包
LDAP权限控制（从安装，到测试数据，到权限划分）
勤奋的小码农的博客
03-28 3301
LDAP 一、LDAP的安装 linux 的 安装我就不赘述了，度娘有很多，这里有个window版的下载地址，大家可以自己试下，最好用迅雷下载，浏览器自己下载太慢了。 openldap: 32位：https://www.maxcrc.de/wp-content/uploads/2019/04/OpenLDAPforWindows_x86.zip 63位：https://www.maxcrc...
【Ranger】基于Ranger+LDAP的权限策略方案
lsr40的博客
05-10 4731
本文并不是解决具体某些什么问题，更相当于一个解决方案，而且是各个云厂商相对通用的解决方案。 当我们使用各个框架的时候，总有各种各样的权限，关系型数据库的权限可能相对比较好处理，大多数都是创建个账号，grant授权下增删改查的权限 但是到了大数据领域，如hdfs的目录和文件的权限，hive中的表，hbase中的表，presto中的表等等相关的一堆框架权限又如何控制呢？ 这时候，我们需要2个东西，一个叫授权（Authorization），一个叫认证（Authentication） 一、授权 我们.
Ranger配置OpenLDAP(HDP 3.1.1 + Ambari 2.7.3)
TT-Learning
11-05 1567
查看slapd服务端口
RANGER+MINI用户手册1
08-04
《RANGER MINI用户手册1》提供了关于这款可编程全向型UGV（无人驾驶地面车辆）的详尽信息，强调了安全性和责任的重要性。RANGER MINI是一款采用阿克曼转向设计的底盘，具备高性能和稳定性，适用于各种复杂地形。在...
Ranger+LDAP+Presto实现权限控制
pandani的专栏
10-14 2500
LDAP搭建 LDAP的搭建步骤可参考文章《Centos 7 搭建Openldap，使用lam做web管理》Centos 7 搭建Openldap，使用lam做web管理 - 简书 Presto搭建 使用的是trino中的presto-server-350版本，350往后的版本对包空间名称做了更改（io.prestosql -> io.trino），ranger2.1.0版本对其还不兼容。 presto-server-350下载地址：https://repo1.maven.org/mav.
Ranger2.0+Atlas2.1
06-28
ranger-2.0.0-admin.tar.gz ranger-2.0.0-hive-plugin.tar.gz ranger-2.0.0-usersync.tar.gz apache-atlas-2.1.0-hive-hook.tar.gz apache-atlas-2.1.0-server.tar.gz
Ranger中的权限管理（用户，用户组，角色管理）
weixin_45076240的博客
11-18 6802
Ranger中的权限管理  Ranger可以将权限提供给用户，用户组，角色。设置界面如下： 用户管理界面同上：  如图，用户分为内部用户（Internal）和外部用户（External） 内部用户：在ranger中创建，可以登录ranger的管理界面，协助管理员设置策略。 外部用户：从其他系统同步过来的用户（通过Ranger-userSync组件），来源包括但不限于linux系统。外部用户的信息无法修改，和linux系统中的信息同步。 用户组界面： 同用户一样，用户组也分为外部用户组和内部用户组，外
openldap集中权限管理
yanggd1987的专栏
12-12 2027
简介 最近梳理了下自己的自动化运维体系，发现目前运维管理中的各子系统都是独立运行。在管理过程中在各子系统中需要创建不同的账号，给管理及其他使用人员带来了极大的不便，需要记录各种登录密码。因此在消化总结其他人的知识图谱后，可以使用ldap来打通各子系统的账户体系，如zabbix、jenkins、jumpserver等。 安装 yum install -y openldap openldap-clie...
Ranger 配置 LDAP 账号支持 ( 基于 FreeIPA + HDP 3.0 + Ambari 2.7.0)
luoyoumou的专栏
07-31 5246
-- 参考：https://community.hortonworks.com/questions/1018/how-to-configure-ranger-usync-for-ldap-ssl.html --      https://community.hortonworks.com/articles/16696/ranger-ldap-integration.html --      htt...
OpenLDAP：用ACL控制访问权限
corpsin的专栏
12-21 4534
用ACL控制授权 我们在LDAP中创建目录树后,最感兴趣的就是如何控制用户在目录树中的权限(读写)。谁在什么条件下有记录权限，我们有权限看到哪些信息。ACL（Access Control List）访问控制列表就是解决用户权限问题的。 我们要把ACL写在哪里？ACL写在OpenLDAP的服务端全局配置文件slapd.conf中，如下这段即为其指令： # access
osixia/openLdap如何设置用户权限，如何给普通用户增加读写权限。
qq_40331154的博客
07-08 1391
osixia/openLdap如何设置用户权限，如何给普通用户增加读写权限。
ldap管理linux用户,ldap服务器用户及权限管理控制linux操作系统 -电脑资料
weixin_35866747的博客
04-30 1919
ldap服务器可能使用的用户比较少，但自己就要去用在百度找了N久没找到什么可用的内容，就只在看英文了，下面我来给大家介绍ldap服务器用户及权限管理控制，希望此文章对大家有帮助，openldap默认的账户是cn=Manager,dc=361way,dc=com这样的一个账户 ，其写在配置文件/etc/openldap/slapd.conf文件中，但这样的一个账户就像linux下的root一样，虽然...
基于LDAP配置Ranger授权之配置LDAP
m0_48187193的博客
03-26 1051
基于LDAP配置Ranger授权之配置LDAP 之前搭的测试集群都是裸机进行跑任务，开发，测试集群也随时可以拆了重装随意捣鼓嘛，现在需要给测试集群安装ranger，Kerberos等权限认证身份认证的东西往生产集群的配置靠近，由于之前的生产环境都是别人搭好没机会参与与研究，最近刚好有这个机会来安装配置，也为不久的将来去给客户搭个符合生产环境的集群。 Ranger的安装总结语言 由于是因为长达一周多看资料踩坑配置测试才正确地安装好才写这篇文章用于记录安装步骤，以供后来再次安装的时候能立刻copy解决问题，安装
ranger usersync同步 OpenLdap
zachz的博客
05-04 638
环境信息：CentOS 7.9 + ranger-usersync 2.4 + openldap 2.4.44没啥可讲的 …对了 还有个bug 同步时间间隔设置，我设置了10分钟 但是好像并不好用，后续再看。感觉软件本身还是有不少bug，国内的资料也很少，很难搞呀！！！
openldap访问控制
yyp1998的博客
09-25 456
系统：debian12。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值