hdfs-原生hdfs开启kerberos

简介

本文档描述如何在安全模式下配置Hadoop的身份验证。
默认情况下，Hadoop以非安全模式运行，在这种模式下不需要实际的身份验证。通过配置Hadoop在安全模式下运行，每个用户和服务都需要通过Kerberos身份验证才能使用Hadoop服务。
Hadoop的安全特性包括身份验证、服务级授权、Web控制台身份验证和数据保密。

认证

终端用户账户

当启用服务级别身份验证时，在安全模式下使用Hadoop的最终用户需要使用Kerberos身份验证。进行身份验证的最简单方法是使用Kerberos的kinit命令。

hadoop进程的用户

Ensure that HDFS and YARN daemons run as different Unix users, e.g. hdfs and yarn. Also, ensure that the MapReduce JobHistory server runs as different user such as mapred.
确保hdfs和yarn的进程使用不同的linux用户，比如hdfs和yarn。另外，确保mr jobHistory服务使用不同的用户比如mapred用户。
建议让它们共享一个Unix组，比如hadoop，

hadoop进程和用户的krb principals

为了以安全模式在hadoop中运行hadoop服务守护进程，需要Kerberos主体。每个服务使用适当的权限读取保存在keytab文件中的auhenticate信息。
HTTP web控制台应该由主体提供不同于RPC的服务。
下面的子节将展示Hadoop服务的凭据示例。

Kerberos principal 和linux用户的映射

Hadoop maps Kerberos principal to OS user account using the rule specified by hadoop.security.auth_to_local which works in the same way as the auth_to_local in Kerberos configuration file (krb5.conf). In addition, Hadoop auth_to_local mapping supports the /L flag that lowercases the returned name.

By default, it picks the first component of principal name as a user name if the realms matches to the default_realm (usually defined in /etc/krb5.conf). For example, host/full.qualified.domain.name@REALM.TLD is mapped to host by default rule.

krb principal和OS用户的映射使用hadoop.security.auth_to_local，其工作方式和krb5.conf中的auth_to_local属性相同。另外，其支持/L小写。
默认情况下，如果principal的realm是default_realm，会使用三段中的第一段作为用户名，比如host/full.qualified.domain.name@REALM.TLD会被映射为host用户

用户和组的映射

尽管HDFS上的文件有属主和组，但hadoop本身没有组的概念，通过组管理用户使用OS或者LDAP。
You can change a way of mapping by specifying the name of mapping provider as a value of hadoop.security.group.mapping See HDFS Permissions Guide for details.
实际上要使用集成了LDAP的kerberos来管理SSO环境