Hadoop学习-6-HDFS权限管理

HDFS权限管理

• 认证、授权、审计（/var/log/secure）

HDFS权限管理

• 身份认证，数据访问权限认证

• UGO模型：每个文件和目录都与一个owner、group关联

  • user：文件所有者
  • group：组内其他成员
  • other：其他用户组，最低权限

• 读、写、执行权限

  • -/d(文件类型)rwx(owner权限)rwx(group权限)rwx(other权限)
  • hdfs中没有可执行文件的概念，对于目录有x权限，才能读取目录的子级

• 权限掩码

  • fs.permissions.umask-mode
  • 新建文件及目录的默认权限，默认022

• 修改权限

  # 权限变更
  hadoop fs -chmod [-R递归] 777 file_path 
  # ugoa, a指所有用户
  hadoop fs -chomd [-R] o+x,g-x file_path
  
  # 修改owner
  hadoop fs -chown [-R] user1 file_path
  hadoop fs -chown [-R] user1:group1 file_path
  
  # 修改用户组
  hadoop fs -chgrp [-R] group1 file_path
  

• web页面修改权限

  • Sticky key粘滞位，只有文件所有者和root才能做删除或移动

• hdfs用户身份认证

  • hdfs本身不存在身份认证功能
  • hadoop.secyrity.authentication
  • 简单认证
    • 依赖linux自身的用户认证系统
    • 在多用户、多租户的情况下，会导致认证权限混淆
  • kerberos认证
    • 通过秘钥加密技术为客户端应用程序提供强身份验证
    • 角色
      • client
      • server
      • kdc - 秘钥分发中心
        • kerberos凭证
        • as验证client身份
        • tgs获取权限

• hdfs组映射

  • namenode需要通过用户组映射服务获取该用户所对应的用户组列表，用于用户组权限校验
  • 用户组服务
    • namenode自带，基于linux系统的用户和用户组，/etc/passwd /etc/group，两个文件关联组成用户组和用户的映射
    • 插件

HDFS ACL权限管理

• 访问控制列表

  • 为特定的用户或组设置不同的权限，而不仅仅是文件的所有者和文件的组

  # 查看该文件的acl权限
  hadoop fs -getfacl [-R] path
  # 增加权限
  hadoop fs -setfacl [-R] -m user:username:rwx path
  # 删除权限
  hadoop fs -setfacl -x user:username path
  # 删除所有的acl条目
  hadoop fs -setfacl -b path
  # 设置默认acl权限
  hadoop fs -setfacl -m default:user:username:rwx 
  

  • dfs.namenode.acls.enabled=true(hdfs-site.xml)

HDFS Proxy user代理用户

• 一个用户代表另一个用户提交作业或访问HDFS
  • 代码中创建
  • hdfs中配置
    • Hadoop.proxyuser.super(代理用户).hosts
    • hadoop.proxyuser.super(代理用户).groups