hadoop+ranger+kerberos页面权限配置（四）

已于 2023-03-08 19:22:23 修改
阅读量1.5k 收藏 4
点赞数 3
文章标签： hadoop hive 大数据
于 2023-01-02 19:25:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40496191/article/details/128522568
版权

文章目录

一、原理介绍

  1. hdfs

    指令测试：hdfs dfs -mkdir /ranger

    原理：根据路径进行文件夹操作赋权。一旦指定文件夹权限，则该用户可以操作该文件夹及该文件夹底下的子文件夹。

  2. yarn

    指令测试：hadoop jar /home/hadoop/module/hadoop-3.2.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar pi -Dmapred.job.queue.name=default 2 2

    原理：根据队列进行赋权，被赋权的用户可以提交任务给队列执行。

  3. hive

    原理：根据数据库、表、字段进行过滤用户的权限。

  4. hbase

    原理：根据数据库、字段族、字段进行过滤用户的权限。

二、配置用户

ps：注意，配置了kerberos后，验证用户不再是验证linux用户，而是验证kerberos用户。

  1. 添加用户：有两种方式，但是无论哪种方式添加的用户，效果都一样，因为都只是用来给用户赋权，不用于其他功能。

    1）使用同步方式，如ranger-usersync插件

    2）手动创建。
    在这里插入图片描述

    ps1：User Name、First Name、Last Name用户名称，取一样的即可

    ps2：Select Role，用户权限，一般选择User
    在这里插入图片描述

三、配置hdfs

  1. 原理
    在这里插入图片描述

  2. 新增
    在这里插入图片描述

  3. 设置

    ps1：Service Name，名称为/home/hadoop/RangerHive/ranger-2.2.0-hive-plugin/inistall.propreties的REPOSITORY_NAME属性

    ps2：Username&Password，ranger-hdfs的最高权限用户

    ps3：Namenode URL，/home/hadoop/module/hadoop-3.2.2/etc/hadoop/hdfs-site.xml的dfs.namenode.rpc-address.mycluster.nn1和nn2属性，用“,”隔开
    在这里插入图片描述

  4. 测试连接
    在这里插入图片描述

  5. 测试上传功能

  6. 使用hadoop用户创建文件夹：hdfs dfs -mkdir /ranger

  7. 使用hadoop用户上传：hdfs dfs -put test.txt /ranger

    结果：上传成功

  8. 新建用户zhanzhk并且上传：hdfs dfs -put test.txt /ranger

    结果：报错put: Permission denied: user=root, access=WRITE, inode=“/ranger”:hadoop:supergroup:drwxr-xr-x

  9. 重启ranger-usersync同步用户： ranger-usersync restart

    只能同步ranger服务器的用户
    在这里插入图片描述

  10. 配置zhanzhk这个用户的权限，然后add即可 在这里插入图片描述

  11. 重新执行上传指令，成功！

  12. 策略是可以重复使用的，只要在权限里面配置不同用户即可，一般都会生产一些默认权限，如下
    在这里插入图片描述

四、配置hive

  1. 原理
    在这里插入图片描述

  2. 查看mysql相关权限

    mysql -uroot -p
use mysql;
SELECT host,user,Grant_priv,Super_priv FROM mysql.user;

在这里插入图片描述

  1. 修改mysql相关权限

    UPDATE mysql.user SET Grant_priv='Y', Super_priv='Y';
flush privileges;

  2. 连接hive查看数据

    cd /home/hadoop/module/hive
bin/beeline -u jdbc:hive2://node10:10000/default -n root -p ffcsict123
select * from student;

    错误：Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [root] does not have [SELECT] privilege on [default/student/*] (state=42000,code=40000)

  3. 添加用户
    在这里插入图片描述

  4. 配置hive
    在这里插入图片描述

    配置基础信息
    在这里插入图片描述

    选中add，稍等一会，再点击编辑
    在这里插入图片描述

    点击测试
    在这里插入图片描述

  5. 连接hive查看数据

    cd /home/hadoop/module/hive
bin/beeline -u jdbc:hive2://node10:10000/default -n root -p ffcsict123
select * from student;

    显示查询成功

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-K1psOpqh-1672657950955)(C:\Users\86188\AppData\Roaming\Typora\typora-user-images\image-20221109092827812.png)]

  6. 配置成功！

  7. 测试hadoop用户

    cd /home/hadoop/module/hive
bin/beeline -u jdbc:hive2://node10:10000/default -n hadoop -p ffcsict123
select * from student;

    结果：Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [hadoop] does not have [SELECT] privilege on [default/student/*] (state=42000,code=40000)

  8. 配置hadoop用户的权限 在这里插入图片描述
    可以看到已经存在一些相关的权限配置策略，我们直接用即可
    在这里插入图片描述
    设置hadoop，添加读权限 在这里插入图片描述

  9. 测试hadoop用户

    cd /home/hadoop/module/hive
bin/beeline -u jdbc:hive2://node10:10000/default -n hadoop -p ffcsict123
select * from student;

在这里插入图片描述

  1. 成功！！！

五、配置hbase

  1. 原理
    在这里插入图片描述

  2. 相关指令

    cd /home/hadoop/hbase/hbase-2.1.0/bin
1. 启动客户端：./hbase shell
2. 建表：create 'B_STU','cf'
3. 插入数据：put 'B_STU','001','cf:age','20'
4. 覆盖数据：put 'B_STU','001','cf:age','18'
5. 查看表数据： scan 'B_STU'
6. 根据键查询数据：get 'B_STU','001'

  3. 连接测试

    cd /home/hadoop/hbase-2.3.5/bin
1. 启动客户端：./hbase shell
2. 建表：create 'B_STU','cf'

    报错：ERROR: org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient permissions for user ‘hadoop’ (action=create)

  4. 在ranger界面新建hbase任务

    新建一个
    在这里插入图片描述

    名称跟配置文件对应
    在这里插入图片描述

    配置zk和用户
    在这里插入图片描述

    测试
    在这里插入图片描述

  5. 在ranger界面分配ranger权限
    在这里插入图片描述

    可以新建策略，也可以使用默认创建的最高权限策略，这里选择直接使用默认建好的
    在这里插入图片描述

    添加hadoop用户，保存即可
    在这里插入图片描述

  6. 连接测试

    cd /home/hadoop/hbase/hbase-2.3.5/bin
1. 启动客户端：./hbase shell
2. 建表：create 'B_STU','cf'

    成功！！！！！

六、配置yarn

  1. 原理
    在这里插入图片描述

  2. 配置文件：vi /home/hadoop/module/hadoop-3.2.2/etc/hadoop/capacity-scheduler.xml，添加yarntest队列

    	 <!-- 新增队列yarntest -->
     <property>
         <name>yarn.scheduler.capacity.root.queues</name>
         <value>default,yarntest</value>
         <description>
         The queues at the this level (root is the root queue).
         </description>
     </property>

     <!-- default队列资源占50 -->
     <property>
         <name>yarn.scheduler.capacity.root.default.capacity</name>
         <value>50</value>
         <description>Default queue target capacity.</description>
     </property>  
         
     <!-- default队列资源不足时，最大抢占资源60% -->
     <property>
         <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
         <value>60</value>
         <description>
         The maximum capacity of the default queue. 
         </description>
     </property>
         
        

    
     <!-- yarntest队列资源占50 -->
     <property>
         <name>yarn.scheduler.capacity.root.yarntest.capacity</name>
         <value>50</value>
     </property>  
         
     <!-- yarntest，最大抢占资源60% -->
     <property>
         <name>yarn.scheduler.capacity.root.yarntest.maximum-capacity</name>
         <value>60</value>
     </property>


  <property>
    <name>yarn.scheduler.capacity.root.yarntest.user-limit-factor</name>
    <value>1</value>
  </property>



  <property>
    <name>yarn.scheduler.capacity.root.yarntest.state</name>
    <value>RUNNING</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.yarntest.acl_submit_applications</name>
    <value>*</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.yarntest.acl_administer_queue</name>
    <value>*</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.yarntest.acl_application_max_priority</name>
    <value>*</value>
  </property>

   <property>
     <name>yarn.scheduler.capacity.root.yarntest.maximum-application-lifetime
     </name>
     <value>-1</value>
   </property>

   <property>
     <name>yarn.scheduler.capacity.root.yarntest.default-application-lifetime
     </name>
     <value>-1</value>
   </property>

  3. 切换新建用户测试

    hadoop jar /home/hadoop/module/hadoop-3.2.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar  pi -Dmapred.job.queue.name=default 2 2

    报错：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=zhanzhk, access=WRITE, inode=“/user”:root:supergroup:drwxr-xr-x

  4. 给zhanzhk用户添加“/user”文件夹的hdfs写权限，重新执行

    hadoop jar /home/hadoop/module/hadoop-3.2.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar  pi -Dmapred.job.queue.name=yarntest 2 2

    报错：Caused by: org.apache.hadoop.security.AccessControlException: User zhanzhk does not have permission to submit application_1668046054877_0003 to queue yarntest

  5. 新建任务
    在这里插入图片描述

    配置相关信息
    在这里插入图片描述

    测试
    在这里插入图片描述

  6. 配置用户权限
    在这里插入图片描述

    可新建策略，也可以使用默认生成的策略，这里直接使用默认的
    在这里插入图片描述

    配置新增用户并且保存
    在这里插入图片描述

  7. 重新执行

    hadoop jar /home/hadoop/module/hadoop-3.2.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar  pi -Dmapred.job.queue.name=yarntest 2 2

    成功！！！

七、相关注意点

  1. hdfs的权限是可以逐级赋权，即赋与二级目录权限，则一级目录无权限

  2. hdfs根目录默认对所有的用户都开放操作权限，需要限制只对hadoop超级管理员开放：hdf dfs -chmod 700 /

  3. 用户如果想要放开权限，需要做以下操作及开启相关文件夹权限

    ---------------------------------------------hdfs操作----------------------------------------------------

    1）开启需要访问的文件夹权限即可

    ---------------------------------------------yarn操作----------------------------------------------------

    1）yarn队列赋权

    2）hdfs-yarn临时文件创建与赋权：/tmp/hadoop-yarn/staging/用户名

    3）日志临时文件创建与赋权：/tmp/logs/用户名

    4）用户文件创建与赋权：/user/用户名

    5）日志：/home/hadoop/module/hadoop-3.2.2/logs/用户名

    6）历史：/tmp/hadoop-yarn/staging/history/done_intermediate/用户名

    --------------------------------------------hive操作----------------------------------------------------

    1）hive数据库权限配置

    2）yarn队列权限配置

    3）hdfs-hive数据库文件夹权限：/user/hive/warehouse/数据库名.db

    4）hdfs-hive临时工作文件权限：/tmp/hive/用户名

    --------------------------------------------hbase----------------------------------------------------

    1）hbase数据库表权限配置

  4. 队列的名称，一定要加上“root.”

八、整合kerberos后的配置差别

  1. 配置hdfs

    ps1：Service Name，服务名称，取配置文件

    ps2：Username&Password，ranger-hdfs的最高权限用户

    ps3：Namenode URL，namenode节点访问地址，取配置文件

    ps4：Authorization Enabled，开启权限控制

    ps5：Authentication Type，权限控制类型，选择kerberos

    ps6：hadoop.security.auth_to_local，默认DEFAULT

    ps7：dfs.datanode.kerberos.principal，datanode的kerberos认证用户

    ps8：dfs.namenode.kerberos.principal，namenode的kerberos认证用户

    ps9：policy.download.auth.users，刷新策略的kerberos用户

    ps10：dfs.journalnode.kerberos.principal，journalnode的kerberos认证用户
    在这里插入图片描述
    在这里插入图片描述

  2. 配置hive

    ps1：Service Name，服务名称，取配置文件

    ps2：Username&Password，ranger-hive的最高权限用户

    ps3：jdbc.url，访问hive路径

    ps4：policy.download.auth.users，刷新策略的kerberos用户
    在这里插入图片描述

  3. 配置hbase

    ps1：Service Name，服务名称，取配置文件

    ps2：Username&Password，ranger-hbase的最高权限用户

    ps3：hadoop.security.authentication，权限控制类型，选择kerberos

    ps4：hbase.master.kerberos.principal，hbase的kerberos认证用户

    ps5：hbase.security.authentication，权限控制类型，选择kerberos

    ps6：hbase.zookeeper.quorum ，zookeeper集群地址

    ps7：policy.download.auth.users，刷新策略的kerberos用户
    在这里插入图片描述
    在这里插入图片描述

  4. 配置yarn

    ps1：Service Name，服务名称，取配置文件

    ps2：Username&Password，ranger-yarn的最高权限用户

    ps3：YARN REST URL，yarn的访问地址

    ps4：Authentication Type，权限控制类型，选择kerberos

    ps5：policy.download.auth.users，刷新策略的kerberos用户
    在这里插入图片描述

    ps：可能版本原因导致连接测试失败，但是经过测试，kerberos+ranger监控yarn权限无异常，可以使用，仅测试连接失败，暂不解决这种情况。
    在这里插入图片描述

懒惰の天真热
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
大数据安全组件-Kerberos认证+Ranger权限研究
gaozhenzhai的博客
06-19 1866
小结 总体来说，Kerberos是当前最有效最完善的统一身份认证框架，但是如果真的要全面实施，代价也很高，而从安全的角度来考虑，如果真的要防止恶意破坏的行为，在整个生产环境流程中，能被突破的环节其实也很多，光上Kerberos并不意味着就解决了问题，所以各大互联网公司用还是不用Kerberos，大家并没有一致的做法，即使All in Kerberos的公司，我敢说，除非完全不做服务化的工作，否则，整体链路方面也一定存在很多并不那么Kerberos的环节；简单的说，就是你想怎么做就怎么做。
ranger配置文件的
06-27
ranger配置文件的知识点 下面是关于 Ranger 配置文件的知识点： 1. Ranger 概述 Ranger 是 Apache 项目中的一个数据安全管理框架，能够为 Hadoop 生态系统提供全面的安全管理。它可以集中管理安全策略、配置和...
Ranger学习—— 基础概念
01-26
大数据最基本就是数据以及用于计算的资源，需要将相应的数据和资源开放给对应的用户使用，以防被窃取、被破坏造成损失，这个就涉及大数据安全。 主流的大数据安全组件Kerberos由于使用临时的用户验证机制不适用用户多的情况、Sentry只适用少部分的Hadoop生态组件应用场景少。
Centos7+Hadoop3.3.4+KDC1.15+Ranger2.4.0集成
snipercai的博客
04-30 1204
Centos7+Hadoop3.3.4+KDC1.15+Ranger2.4.0集成
HDP中 Ranger 整合Kerberos进行细粒度的权限访问控制
康师傅没有眼泪
07-07 3829
一、Ranger 权限问题 1、 Ranger 是什么？ ranger则是针对组件内的权限 ，比如HDFS的读写执行，Hive和Hbase的读写更新，yarn的队列资源使用权，目前ranger只支持 hdfs，hive，hbase，kafka，yarn等组件，针对于组和用户对资源的访问权限进行细粒度的控制。 2、遇到的问题 安装 Ambari 时安装了 Ranger 但是没有配置权限，所以出现了下面的问题： Error:Error while comiling statement: FAIL.
Ranger与Kerberos整合
coderlaw's study
05-19 6593
最近调研了Ranger和Kerveros的结合，基于Ranger可以把没有权限变成有权限，在Kerberos基础上搭建了Ranger，进行细粒度权限控制的探索。流程记录如下。1.在Ambari上安装了Kerberos，HDFS，Yarn，Hive。Pricaple。需要生成Keytab。2.安装Ranger后需要在Ranger的配置项中，打开Hive、HDFS、Yarn的配置。并根据官网做相应配置...
Ranger集成Kerberos
Swordfall的博客
04-22 1254
1. 生成用户主体 　　在kerberos服务器生成用于ranger的用户主体： kadmin.local addprinc -randkey http/node3@EXAMPLE.COM addprinc -randky root/node3@EXAMPLE.COM ktadd -norandkey -kt rangadmin.keytab http/node3@EXAMPLE.COM ro...
Kerberos与Ranger
qq_32961283的博客
09-03 4520
Kerberos与Ranger Kerberos与Ranger都是Hadoop安全体系中的两个部分，但是它们分工是不同的。在刚接触大数据安全的时候，我一直都不明白为啥需要两个不同组件来进行权限控制，很长一段时间之后，才会明白。联系我们每天上班然后坐到办公室的过程可能就会比较清楚 某个人员进入公司之前，保安需要检查它是否有工卡，如果没有工卡，保安GG就会认为你不是公司员工，而不允许你进入到公司园区...
hadoop开发者四期合集
07-30
9. **安全性**：Hadoop的安全性包括认证、授权和审计，如Kerberos用于身份验证，ACLs和 Ranger用于权限控制。了解如何设置和管理安全环境对于企业级应用至关重要。 10. **Hadoop与云计算集成**：许多云服务商提供了...
Apache Ranger 2.4.0 编译管理包
06-13
2. **配置步骤**: 安装Ranger前，需要正确配置环境变量、数据库连接（如MySQL）、认证服务等。 3. **插件安装**: 根据所使用的数据存储和服务，安装相应的Ranger插件，并确保它们与Ranger Admin通信正常。 4. **测试...
大数据之路选择Hadoop还是MaxCompute？Hadoop开源与MaxCompute对比材料
最新发布
06-27
- **权限授权管理框架**：Sentry和Ranger提供了权限授权管理功能。 ##### 7.2 MaxCompute安全 MaxCompute的安全体系基于“飞天+MaxCompute”架构，具体包括： - **“飞天+MaxCompute”安全架构**：提供了一套全面...
ranger-admin集成
11-26
7. **连接数据源**：配置Ranger与你的大数据组件（如Hadoop、Hive等）的连接，这样Ranger可以为这些组件提供权限管理。 8. **策略管理**：通过Ranger-Admin Web界面，管理员可以创建、修改和应用权限策略，监控审计...
Ranger学习——基础概念
02-23
ApacheRanger作为标准化的访问控制层，引入统一的权限模型与管理界面，极大地简化了数据权限的管理，统一的权限管理降低了学习成本，非常易于使用。ApacheRanger：一个用于在整个Hadoop平台上使用，用来监视和管理...
Hadoop环境安全加固1
08-08
【Hadoop环境安全加固】 Hadoop，作为Apache基金会的一个开源项目，是一个高度可靠且可扩展的分布式计算框架，专门设计来处理和存储海量数据。它的核心由两个主要组件构成：HDFS（Hadoop Distributed File System）...
ranger-2.0.0-yarn-plugin.tar.gz
06-04
Apache Ranger 是一个强大的安全框架，主要用于管理大数据生态系统中的权限和策略。它支持多种组件，如 Hadoop、Hive、Kafka、HBase 等，提供了细粒度的访问控制和审计功能。在本场景中，我们关注的是Ranger与YARN...
Hadoop面试100题.pdf
09-18
- **知识点说明**：虽然Hadoop提供了基本的安全功能，如认证和授权，但要实现更高级别的安全性，通常还需要与其他工具如Kerberos、Ranger等集成。 12. **Slave节点要存储数据，所以它的磁盘越大越好** - **知识点...
OpenLDAP + Ranger +Kerberos 三方集成实现身份、权限认证
z_ran的博客
12-15 1978
OpenLDAP+Kerberos+Ranger集成
hadoop+kerberos+ranger Api整理（六）
weixin_40496191的博客
01-02 1288
hadoop相关组件api
CDH 6.3.2 集成 Apache Ranger 2.1.0 开启 Kerberos 认证
JP.Hu 的博客
03-10 1271
需要注意的是：目前的测试结果较为有限，无法完全了解更改后可能存在的问题。不建议在生产环境中使用。而在运行 Usersync 服务时，已将节点上的 Hive 用户同步至 Ranger Admin 中，所以需要将 Ranger Admin 中的 Hive 用户权限提升至 Admin。在进行此步骤前，需确认已完成 Ranger 2.1.0 For CDH 6.3.2 编译、已在可使用的 MySQL 中创建数据库 ranger、已使用 Ranger 所提供的 Solr 完成 Solr Standalone 部署。
hadoop数据权限
11-10
Hadoop数据权限是指对Hadoop分布式文件系统（HDFS）中存储的数据进行访问控制和权限管理。Hadoop本身原生并不具备任何身份鉴别的能力，因此需要通过其他工具来实现身份验证和授权管理。常用的身份验证工具包括Kerberos和LDAP，常用的授权管理工具包括Apache Ranger和Apache Sentry。 在HDFS中，可以通过以下命令来修改文件或目录的权限、所有者和用户组： ```bash # 修改权限 hadoop fs -chmod [-R递归] 777 file_path # ugoa, a指所有用户 hadoop fs -chomd [-R] o+x,g-x file_path # 修改所有者 hadoop fs -chown [-R] user1 file_path hadoop fs -chown [-R] user1:group1 file_path # 修改用户组 hadoop fs -chgrp [-R] group1 file_path ``` 其中，`chmod`命令用于修改文件或目录的权限，`chown`命令用于修改文件或目录的所有者，`chgrp`命令用于修改文件或目录的用户组。 除了以上命令，还可以通过Apache Ranger和Apache Sentry来实现更细粒度的权限管理和访问控制。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值