大数据安全之hdfs与hive的Authentication与Authorization

    我们经常听到以下口号：城市发展什么最重要？人才！家庭生活什么最重要？孩子！企业生产什么最重要？数据！在当今时代，数据在企业中作为具有战略意义的重要资产，其安全性受到了越来越高的重视，任何形式的误删除，误修改，越权使用，不慎泄露等，都是重大的安全事件。为了保护数据安全，各企业都实施了严格的数据使用规范和准则，也应用了各种数据安全技术，确保数据的安全使用。本文我们就来看下大数据安全领域的话题。

    在安全领域，有个3A的概念，即Authentication认证，Authorization鉴权，和Audit审计。其中Authentication解决的是身份认证的问题，通俗的来说就是验明真身，证明用户确实是他声称的身份而不是由由其它身份伪装而来；Authorization解决的是权限验证问题，即执行某个具体操作前，确认该用户确实有执行该操作的权限，而不是越权行事；Audit解决的是审计问题，是在事后定期查看安全相关操作记录，从而进一步调整安全策略的基础。（当然数据加密Encryption也是确保安全常见的措施。）

    针对某一个用户的某一次数据操作来看，Authentication是事前的安全措施，Authorization是事中的安全措施，Audit是事后的安全措施。三者联动，才能确保真正的安全。这三者之中，Authentication是基础，因为如果不能证明用户身份，一切都无从谈起；而Authorization是核心和主题，也是具体业务系统实现时大家更关注的地方。

    笔者在这里尝试浅析下大数据安全领域中authentication和authorization方面话题。在大数据安全领域，Authentication层面，常见的有simple, ldap, 和kerberos三种；Authorization层面，很多是由业务系统自己实现的，而底层大数据组件可以借助于成熟的开源框架，目前常见的有Sentry和Ranger两种（其中CDP中不再支持Sentry,只支持Ranger）。由于篇幅有限，笔者在这里聚焦于数据存储层面的hdfs和hive框架，不会讨论spark，flink等计算框架中的实现。

    先来看hadoop的Authentication. hadoop框架（包含hdfs）的Authentication，通过参数hadoop.security.authentication 来配置，目前支持的值只有两种，即simple 和kerbero。其中前者是不做任何验证，用户说他是谁hadoop框架就认为是谁，参见源码org.apache.