尚硅谷大数据之 权限管理Ranger 元数据管理Atlas

尚硅谷权限管理Ranger

Ranger

Apache Ranger是一个Hadoop平台上的全方位数据安全管理框架，它可以为整个Hadoop生态系统提供全面的安全管理。
随着企业业务的拓展，企业可能在多用户环境中运行多个工作任务，这就需要一个可以对安全策略进行集中管理，配置和监控用户访问的框架。Ranger由此产生！
Ranger的官网：https://ranger.apache.org/

Ranger 目标

允许用户使用UI或REST API对所有和安全相关的任务进行集中化的管理
允许用户使用一个管理工具对操作Hadoop体系中的组件和工具的行为进行细粒度的授权
支持Hadoop体系中各个组件的授权认证标准
增强了对不同业务场景需求的授权方法支持，例如基于角色的授权或基于属性的授权
支持对Hadoop组件所有涉及安全的审计行为的集中化管理

Ranger 支持

Apache Hadoop
Apache Hive
Apache HBase
Apache Storm
Apache Knox
Apache Solr
Apache Kafka
YARN
NIFI

Ranger 架构

Ranger的核心是Web应用程序，也称为RangerAdmin模块，此模块由管理策略，审计日志和报告等三部分组成。
管理员角色的用户可以通过RangerAdmin提供的web界面或REST APIS来定制安全策略。这些策略会由Ranger提供的轻量级的针对不同Hadoop体系中组件的插件来执行。插件会在Hadoop的不同组件的核心进程启动后，启动对应的插件进程来进行安全管理！

Ranger2.0要求对应的Hadoop为3.x以上，Hive为3.x以上版本，JDK为1.8以上版本。Hadoop及Hive等需开启用户认证功能

创建系统用户和Kerberos主体
1.创建ranger系统用户
2.检查HTTP主体是否正常（该主体在Hadoop开启Kerberos时已创建）
3.创建rangeradmin主体
4.创建rangerlookup主体
5.创建rangerusersync主体
安装RangerAdmin
安装 RangerUsersync
安装Ranger Hive-plugin
使用Ranger对Hive进行权限管理

Ranger授权模型
Ranger所采用的权限管理模型可归类为RBAC（Role-Based Access Control ）基于角色的访问控制。基础的RBAC模型共包含三个实体，分别是用户（user）、角色（role）和权限（permission）。用户需划分为某个角色，权限的授予对象也是角色，例如用户张三为管理角色，那他就拥有了管理员角色的所有权限。
Ranger的权限管理模型比基础的RBAC模型要更加灵活，以下是Ranger的权限管理模型。

元数据管理Atlas

Apache Atlas为组织提供开放式元数据管理和治理功能，用以构建其数据资产目录，对这些资产进行分类和管理，并为数据分析师和数据治理团队，提供围绕这些数据资产的协作功能。

Atlas 具体功能：

元数据分类	支持对元数据进行分类管理，例如个人信息，敏感信息等
元数据检索	可按照元数据类型、元数据分类进行检索，支持全文检索
血缘依赖	支持表到表和字段到字段之间的血缘依赖，便于进行问题回溯和影响分析等

1）表与表之间的血缘依赖
2）字段与字段之间的血缘依赖

Atlas 架构原理

集成外部Hbase +Solr+ Kafka
集成Hive

Atlas 使用

Atlas的使用相对简单，其主要工作是同步各服务（主要是Hive）的元数据，并构建元数据实体之间的关联关系，然后对所存储的元数据建立索引，最终未用户提供数据血缘查看及元数据检索等功能。
Atlas在安装之初，需手动执行一次元数据的全量导入，后续Atlas便会利用Hive Hook增量同步Hive的元数据。

Hive元数据的增量同步，无需人为干预，只要Hive中的元数据发生变化（执行DDL语句），Hive Hook就会将元数据的变动通知Atlas。除此之外，Atlas还会根据DML语句获取数据之间的血缘关系。