Hadoop学习笔记（HDP）-Part.13 安装Ranger

已于 2023-12-06 09:31:02 修改
阅读量1.4k 收藏 23
点赞数 18
分类专栏： hadoop 文章标签： 学习 笔记 hadoop
于 2023-12-01 09:10:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/glisten0317/article/details/134726366
版权

目录
Part.01 关于HDP
Part.02 核心组件原理
Part.03 资源规划
Part.04 基础环境配置
Part.05 Yum源配置
Part.06 安装OracleJDK
Part.07 安装MySQL
Part.08 部署Ambari集群
Part.09 安装OpenLDAP
Part.10 创建集群
Part.11 安装Kerberos
Part.12 安装HDFS
Part.13 安装Ranger
Part.14 安装YARN+MR
Part.15 安装HIVE
Part.16 安装HBase
Part.17 安装Spark2
Part.18 安装Flink
Part.19 安装Kafka
Part.20 安装Flume

十三、安装Ranger

1.安装服务

(1)Choose Services

在这里插入图片描述

(2)Assign Masters

在这里插入图片描述

(3)Assign Slaves and Clients

选择不安装Ranger Tagsync
在这里插入图片描述

(4)Customize Services

  • 设置RANGER ADMIN
    DB FLAVOR：选择MySQL，依据ambari使用的数据库来定
    Ranger DB name：设置ranger在数据库中的DB，默认ranger
    Ranger DB host：hdp01.hdp.com，选择安装MySQL的主机名
    Ranger DB username：设置ranger用户名，默认rangeradmin
    Ranger DB password：设置ranger密码，此处设置lnyd@LNsy115
    JDBC connect string for a Ranger database：自动生成
    DBA username：填入数据库连接用户名，默认root
    DBA password：填入数据库连接密码，此处设置lnyd@LNsy115
    JDBC connect string：数据库连接，前面的信息填写好后会自动生成
    在这里插入图片描述
    在这里插入图片描述
    在hdp01上设置ambari的MySQL JDBC
ambari-server setup --jdbc-db=mysql --jdbc-driver=/opt/mysql-connector-java-5.1.49.jar

在这里插入图片描述
然后在ambari界面点击“TEST CONNECTION”进行测试

  • 设置RANGER USER INFO
    Sync Source：选择“LDAP/AD”
    子选项卡：COMMON CONFIGS
    LDAP/AD URL：ldap://192.168.111.222:389
    Bind User：cn=admin,dc=hdp315,dc=com
    Bind User Password：设置为lnyd@LNsy115
    在这里插入图片描述
    子选项卡：USER CONFIGS
    Username Attribute：uid
    User Object Class：posixAccount
    User Search Base：ou=People,dc=hdp315,dc=com
    User Search Filter：cn=*
    User Search Scope：sub
    User Group Name Attribute：memberUid
    在这里插入图片描述
    子选项卡：GROUP CONFIGS
    Group Member Attribute：memberUid（对应template.ldif中的memberUid属性）
    Group Name Attribute：cn
    Group Object Class：posixGroup
    Group Search Base：ou=Group,dc=hdp315,dc=com
    Group Search Filter：cn=*
    在这里插入图片描述

  • 设置RNAGER PLUGIN
    将HDFS Ranger Plugin设置为ON
    在这里插入图片描述

  • 设置RANGER AUDIT
    未安装solr，关闭向Solr审计功能；将审计日志存储到HDFS
    在这里插入图片描述

  • 设置ADVANCED
    此处的用户密码统一设置为lnyd@LNsy115
    ADMIN Settings中的Ldap Base DN改为dc=hdp315,dc=com
    Ranger Settings中的External URL设置为http://hdp02.hdp.com:6080，此处设置为hdp01即可，不应该设置为192.168.111.222的vIP，否在调用相关URL时，会使用principal：HTTP/192.168.111.222@HDP315.COM，因为没有相关账号而报错401
    在这里插入图片描述

(5)Review

在这里插入图片描述

(6)Install,Start and Test

在这里插入图片描述

(7)Summary

在这里插入图片描述

2.安装plugin

在CONFIGS->RANGER PLUGIN中，启用对应服务的Plugin
在这里插入图片描述
启用Plugin后，对应的服务（hdfs）重启

3.测试

(1)用户同步测试

在OpenLDAP上新建测试账号tenant2

ldapadd -x -w "lnyd@LNsy115" -D "cn=admin,dc=hdp315,dc=com" -f /root/template.ldif

在这里插入图片描述
在ambari上重启UserSync服务，以重新同步（正常会周期性同步，为了即时同步，可重启该服务）
在这里插入图片描述
登录Ranger界面，http://192.168.111.201:6080，查看用户，确认OpenLDAP账号已经同步至Ranger上
在这里插入图片描述

(2)权限测试

以tenant1和tenant2为测试对象，设置tenant1在hdfs上的目录为/testhdfs/tenant1，tenant2在hdfs上的目录为/testhdfs/tenant2，在Ranger上未设置任何权限策略的情况下
先以hdfs管理员账号nn/hdp01.hdp.com@HDP315.COM登录kdc，然后创建对应的目录和赋权

kinit -kt /etc/security/keytabs/nn.service.keytab nn/hdp01.hdp.com@HDP315.COM
hdfs dfs -mkdir -p /testhdfs/tenant1
hdfs dfs -mkdir -p /testhdfs/tenant2
hdfs dfs -chmod 777 /testhdfs/tenant1
hdfs dfs -chmod 777 /testhdfs/tenant2
hdfs dfs -ls /testhdfs

在这里插入图片描述
LDAP上已经有tenant1和tenant2两个账号，还需要在kerberos中同步建立好对应的账号

kadmin.local
addprinc -randkey tenant1
addprinc -randkey tenant2
ktadd -kt /root/keytab/tenant1.keytab tenant1
ktadd -kt /root/keytab/tenant2.keytab tenant2

分别以tenant1和tenant2账号登录kdc后，上传测试文件到自身的目录下

kinit -kt /root/keytab/tenant1.keytab tenant1
hdfs dfs -put /root/file1 /testhdfs/tenant1/
hdfs dfs -ls /testhdfs/tenant1
kdestroy
kinit -kt /root/keytab/tenant2.keytab tenant2
hdfs dfs -put /root/file2 /testhdfs/tenant2/
hdfs dfs -ls /testhdfs/tenant2

在这里插入图片描述
分别用两个账号查看对方目录下的文件内容，目前是以hdfs自身的权限控制为准，即777权限，因此可以查看

kinit -kt /root/keytab/tenant1.keytab tenant1
hdfs dfs -cat /testhdfs/tenant2/file2
kdestroy
kinit -kt /root/keytab/tenant2.keytab tenant2
hdfs dfs -cat /testhdfs/tenant1/file1

在这里插入图片描述
在Ranger上添加策略
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
设置完成后，再次分别以tenant1和tenant2登录并查看权限情况

kinit -kt /root/keytab/tenant1.keytab tenant1
hdfs dfs -cat /testhdfs/tenant1/file1
hdfs dfs -cat /testhdfs/tenant2/file2
kinit -kt /root/keytab/tenant2.keytab tenant2
hdfs dfs -cat /testhdfs/tenant1/file1
hdfs dfs -cat /testhdfs/tenant2/file2

在这里插入图片描述

说明权限已经生效，账号仅能查看自身目录下的文件，其他目录权限已被Ranger锁死

(3)联合授权

Ranger为HDFS提供联合授权模型：

  • 用于HDFS的Ranger插件检查Ranger策略，如果存在策略，则授予用户访问权限。
  • 如果Ranger中不存在策略，则Ranger将默认使用HDFS（POSIX或HDFS ACL）中的本机权限模型。
    联合模型适用于Ranger中的HDFS和Yarn服务。对于其他服务，例如Hive或HBase，Ranger作为唯一授权者运行，这意味着只有Ranger策略生效。
    在HDFS中，CONFIGS->ADVANCED->Advanced ranger-hdfs-security中设置
    xasecure.add-hadoop-authorization=true，表示启用联合授权，即如果不存在权限，则由hdfs权限控制；false表示禁用联合授权，hdfs的权限不再生效，而是仅有Ranger来控制。
    在这里插入图片描述

配置完成后，重启hdfs服务
禁用Ranger上的tenant1策略，然后用tenant1和tenant2账号分别查看，因为/testhdfs/tenant1上没有策略，虽然hdfs权限为777，但因为非联合授权，因此仍被Ranger拒绝访问；而/testhdfs/tenant2在Ranger有策略控制，因此tenant2仍有权限查看
在这里插入图片描述

(4)查看审计日志

配置审计日志在hdfs上存储，路径为hdfs://hdp315/ranger/audit，将所有租户的执行行为进行记录

kinit -kt /etc/security/keytabs/nn.service.keytab nn/hdp01.hdp.com@HDP315.COM
hdfs dfs -cat /ranger/audit/hdfs/20230303/hdfs_ranger_audit_hdp02.hdp.com.1.log

在这里插入图片描述

4.启用HA

Ambari上启用Ranger HA，需要提前准备好负载均衡器，ambari上只是在另外一台服务器上配置好Ranger，实现两台的高可用关系，但前面的负载不是Ambari来负责管理。前面的负载采用KeepAlived+HAProxy实现。
在这里插入图片描述
复用在OpenLDAP中的KeepAlived+HAProxy

(1)配置HAProxy

在hdp04和hdp05上修改配置文件中的部分内容，/etc/haproxy/haproxy.cfg

#---------------------------------------------------------------------
# main frontend which proxys to the backends
#---------------------------------------------------------------------
frontend  tcp_389_openldap
    bind *:389
    mode tcp
    stats uri /haproxy?stats
    default_backend  tcp_389_openldap

frontend  http_6080_ranger
    bind *:6080
    http-request set-header X-Forwarded-Proto http
    stats uri /haproxy?stats
    default_backend  http_6080_ranger

#---------------------------------------------------------------------
# round robin balancing between the various backends
#---------------------------------------------------------------------
backend tcp_389_openldap
    mode tcp
    balance     roundrobin
    server server1 hdp01.hdp.com:389 check weight 100
    server server2 hdp02.hdp.com:389 check weight 1

backend http_6080_ranger
    mode http
    balance     roundrobin
    cookie LB insert
    server  server1 hdp01.hdp.com:6080 maxconn 200 weight 10 cookie 1 check inter 5000 rise 3 fall 3
    server  server2 hdp02.hdp.com:6080 maxconn 200 weight 10 cookie 2 check inter 5000 rise 3 fall 3

启动服务

systemctl restart haproxy
systemctl status haproyx

(2)Ambari上启用HA

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
确认状态
在这里插入图片描述

这啥名啊
关注
  • 18
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hadoop-3.1.1.3.1.4.0-315.tar.gz
10-11
ambari-2.7.5 编译过程中四个大包下载很慢，所以需要提前下载，包含：hbase-2.0.2.3.1.4.0-315-bin.tar.gz ，hadoop-3.1.1.3.1.4.0-315.tar.gz ， grafana-6.4.2.linux-amd64.tar.gz ，phoenix-5.0.0.3.1.4.0-315.tar.gz
hdp集群从0到1搭建
04-03
一、环境搭建 1 Ambari简介 2 环境准备 3 安装HDP 3.1 安装数据库(mysql与达梦dm) 3.2 部署Ambari-server 3.3 部署Hadoop集群 3.4 部署HBase 3.5 部署Hive + Tez 3.6 部署Spark 3.7 部署Kafka 3.8 部署Oozie 3.9 部署Ranger 3.10 部署Sqoop 3.11 部署 DataX 3.12 部署Azkaban 3.13 部署Presto 3.14 部署Elasticsearch 3.15 卸载Ambari集群 3.16 故障排除 二 hadoop技术验证(鲲鹏) 1 数据同步性能（sqoop\datax） 2 ETL加工性能(hive\spark) 3 数据查询性能(hive\spark\presto) 4 Hive数据同步到Clickhouse 5 测试问题 三 ... 四 Oozie技术验证 五 hadoop技术验证(华为) 1 数据同步性能 2 ETL加工性能 3 数据查询性能 4 Hive数据同步到Clickhouse
HDP-2.6—Ranger安装配置.doc
07-22
通过ambari搭建hdp2.6版本的集群，该集群继承ranger实现权限管理
Ambari-2.7.4.0 + HDP-3.1.4.0网盘地址.txt
04-20
Cloudera收费之后，CDH和HDP都需要订阅才能下载，这里是网盘地址，欢迎大家下载。内容包括ambari-2.7.4.0-centos7.tar.gz，HDP-3.1.4.0-centos7-rpm.tar.gz，链接失效或者部署过程中遇到任何问题可以私信我，同时列举了几条之前项目环境部署过程中遇到过的问题及解决办法，有爱好大数据领域的同学也可以私信我交流，互相学习，共同进步。
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
摘要 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算 软件特点 Hadoop是一个
Ranger 简介与安装
康师傅没有眼泪
07-04 4268
目录一、Ranger是什么1、Ranger介绍2、Ranger模块二、基于Ambari安装Ranger Apache Ranger目前是Apache下的顶级项目，目的是通过制定策略(policies)实现对Hadoop组件的集中式安全管理。用户可以通过Ranager实现对集群中数据的安全访问。 Ranger由三个模块组成：Ranger portal: 提供给用户进行安全管理的界面Ranger plugin: 嵌入在需要安全控制的组件进程中，提供两种功能：
Ranger技术实践V1.0
super_chenzhou
08-10 993
Ranger技术实践
Hadoop权限管理使用什么组件(HA + Kerberos)
Wxh_bai的博客
04-21 444
综上所述，Hadoop 权限管理主要使用 Hadoop Authorization (HA) 和 Apache Ranger 两个组件，它们分别提供了基于权限的访问控制和细粒度的权限管理功能，可以保护 Hadoop 中的数据安全。是 Hadoop 中的一种基于权限的访问控制机制，通过 HA，可以将用户和用户组与 Hadoop 文件系统中的权限进行映射，从而对其访问进行限制。来管理 Hadoop 文件系统中的权限，支持基于用户、用户组和访问类型（如读、写、执行等）的权限控制。
Apache Hadoop---Ranger.docx
06-12
Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。
权限管理-Ranger的介绍和使用(集成Hive)
迷雾总会解
06-15 5378
Apache Ranger是一个Hadoop平台上的全方位数据安全管理框架，它可以为整个Hadoop生态系统提供全面的安全管理。随着企业业务的拓展，企业可能在多用户环境中运行多个工作任务，这就需要一个可以对安全策略进行集中管理，配置和监控用户访问的框架。Ranger由此产生！Ranger的官网：https://ranger.apache.org/RangerUsersync作为Ranger提供的一个管理模块，可以将Linux机器上的用户和组信息同步到RangerAdmin的数据库中进行管理。
Ambari-2.7.3.0+HDP-3.1.0.0-Ubuntu安装包
09-28
目录：Hidataplus->hdp3.1.0 说明：里面还有ubutntu18和centos7两个版本的 按需使用
Hadoop下载 hadoop-2.9.2.tar.gz
07-06
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
HDP中 Ranger 整合Kerberos进行细粒度的权限访问控制
康师傅没有眼泪
07-07 3723
一、Ranger 权限问题 1、 Ranger 是什么？ ranger则是针对组件内的权限 ，比如HDFS的读写执行，Hive和Hbase的读写更新，yarn的队列资源使用权，目前ranger只支持 hdfs，hive，hbase，kafka，yarn等组件，针对于组和用户对资源的访问权限进行细粒度的控制。 2、遇到的问题 安装 Ambari 时安装了 Ranger 但是没有配置权限，所以出现了下面的问题： Error:Error while comiling statement: FAIL.
Apache Ranger Hadoop 集群权限框架_了解Ranger---Ranger工作笔记001
添柴程序猿的专栏
07-25 1047
通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限。这些策略会由Ranger提供的轻量级的针对不同Hadoop体系中组件的插件来执行。插件会在Hadoop的不同组件的核心进程启动后，启动对应的插件进程来进行安全管理。1.Apacheranger是一个Hadoop集群权限框架，提供操作、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的Hadoop生态圈的所有数据权限。.........
Ranger从入门到精通以及案例实操系列
prefect_start的博客
06-05 2022
RangerUsersync作为Ranger提供的一个管理模块，可以将Linux机器上的用户和组信息同步到RangerAdmin的数据库中进行管理。Ranger Hive-plugin是Ranger对hive进行权限管理的插件。需要注意的是，Ranger Hive-plugin只能对使用jdbc方式访问hive的请求进行权限管理，hive-cli并不受限制。
hadoop之ranger权限配置（二）
weixin_40496191的博客
01-02 2023
ranger权限配置
开源大数据集群部署（十一）Ranger 集成Hadoop集群
02-21 688
servicename必须和install.properties中的REPOSITORY_NAME填写一致。初始化完成后会在/opt/hadoop/etc/hadoop目录下生成3个文件。以下内容参考hdfs-site.xml和core-site.xml参考填写。在rangeradmin页面上进行配置。部署在两个namenode节点。更多技术信息请查看云掣官网。
Elixir学习笔记——二进制、字符串和字符列表
最新发布
chenxupest的专栏
06-04 677
在“基本类型”中，我们学习了一些关于字符串的知识，并使用 is_binary/1 函数进行检查："hello"true在本章中，我们将明确二进制到底是什么、它们与字符串的关系以及 Elixir 中单引号值“like this”的含义。虽然字符串是计算机语言中最常见的数据类型之一，但它们却非常复杂，经常被误解。要理解 Elixir 中的字符串，我们必须了解 Unicode 和字符编码，特别是 UTF-8 编码。
Diffusers代码学习-链式Inpainting
duhaining1976的博客
06-03 1018
AIGC研究及应用系列
hadoop如何配置core-site.xml
04-18
Hadoop的core-site.xml配置文件主要用于配置Hadoop的核心属性，如HDFS文件系统的URI、Hadoop运行环境的I/O设置等。 具体配置步骤如下： 1. 在Hadoop配置目录下找到core-site.xml文件，通常为$HADOOP_HOME/etc/...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

这啥名啊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值