Apache atlas使用说明(UI功能详解)

介绍Apache Atlas在数据治理中的应用,涵盖其基本概念、UI界面操作、权限管理及与Hive的集成等内容。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

稍微修改了下,增添了内容。基本上是看着官方文档,和查询资料自己总结出来的。也没有什么高深的东西就atlas的一些基本使用,以及web页面的一些操作。如果有什么错误欢迎指正。

**

1Atlas基本说明**

1.1Atlas简介

在当今大数据的应用越来越广泛的情况下,数据治理一直是企业面临的巨大问题,大部分只是单纯的对数据进行了处理,而数据的血缘、分类等等却很难实现,市场上也急需要一个专注于数据治理的技术框架,这时Atlas应运而生。
Atlas是一套可扩展、可延伸的核心基础治理服务–使企业能够在Hadoop内有效、高效地满足其合规性要求,并允许与整个企业数据生态系统进行整合。
Apache Atlas为企业提供了开放的元数据管理和治理能力,可以为企业建立数据资产目录,对这些资产进行分类和治理,并为数据科学家、分析师和数据治理团队提供围绕这些数据资产的协作能力。

Apache Atlas 中文开发指南:https://mantoudev.com/mantouBook/Atlas_cn/

2Atlas的UI界面

2.1Atlas登录界面

网址:*************** 用户名:密码 *********************
在这里插入图片描述

2.2Search界面

在Search界面中提供了Basic(基础)和Advanced(高级)两种UI界面。可查询的数据类型包括但不限于hive_db、hive_table、hdfs_path…点击橘色方框中的箭头即可查看选择可供查找的数据类型
在这里插入图片描述

2.2.1Basic

在Basic界面中,查询条件有Type(查询的数据类型)、Classification(查询数据的所属分类)、Term(查询数据的术语)、Text(查询数据的name)。还可以保存常用的查询条件组合。
在这里插入图片描述
在Basic查询界面中还可以对Type和ClassiFication进行更加细粒度的划分查询
1、对Type进行划分
在这里插入图片描述
2、对ClassiFication进行划分
在这里插入图片描述

**

2.2.2Advanced**

在Advanced界面中查询条件包括:Type(查询的数据类型)、Query(查询语句)。也可以保存常用的查询条件组合。
在这里插入图片描述

2.3Classification界面*

分类界面中可以进行分类标签的管理。在这个界面中可以新建一个分类,或者在一个分类下新建出一个小分类,也可以删除一个已有的分类。通过分类的设定,并为数据添加相应的分类标签,可以方便数据的管理与查找。

点击相应的分类便可以看到拥有该分类和其子分类的数据。
而在查询界面中点击数据中的分类标签,即可跳转到分类界面的相应分类下

在这里插入图片描述
*

2.3.1新建一个分类*

在这里插入图片描述

2.3.2为数据添加分类

在Atlas中一个数据可以拥有多个分类标签,在查询界面中,可以通过在数据的Classification列点击’+’为该数据添加分类

在这里插入图片描述
在这里插入图片描述

这里单独说一下propagate(分类传播)选项
分类传播使数据所关联的分类能延血缘关系,使其这个数据的后代也能得到其父类数据的分类标签
在这里插入图片描述

为第一个数据打上分类标签后其数据的子类也得到了该分类的标签
在这里插入图片描述

更改第一个数据的分类标签,子类的分类标签也会受到更改
在这里插入图片描述

删除第一个数据的分类标签,其子类对应的分类标签也会删除

在这里插入图片描述

总结来说数据的分类标签能沿着血缘关系传播到其子类
大体上有这么三种情况
情况一:
删除其父类实体时,子类所得到的父类的标签会被删除
在这里插入图片描述

情况二:
当子类到父类之间的血缘关系被破坏时,子类也会失去父类的分类标签

在这里插入图片描述

在这里插入图片描述

情况三:
即使子类到父类之间的一条血缘链被破坏,只要还有另一条血缘链存在且能使子类连接到父类,那么子类还能保存其父类的分类标签

在这里插入图片描述
在这里插入图片描述

2.3.3分类列表两种不同UI展示

在这里插入图片描述

2.4Glossary界面

在Atlas的Glossary界面下。可以创建术语表,并且在术语表中可以创建一些’单词’,这些“单词”能彼此进行关联和分类。以便业务用户在使用的时候,即使这些’单词’在不同的术语表中也能很好的理解它们。此外,这些术语也是可以映射到数据资产中的,即可以给数据添加术语标签。
术语表抽象出了和数据相关的专业术语,使得用户能以他们更熟悉的方式去查找和使用数据。

注:如果为数据添加术语时,该术语已经设置了分类标签,那么这个术语的分类标签会被数据继承。即数据的分类标签中,会被加上术语的分类标签。这样做是因为,我们可以为术语单独创建一个分类,然后为数据打上术语标签时,数据也会继承这个分类。然后我们通过查看这个分类的数据时就能找到被打上这个术语标签的所有数据及术语本身。

在这里插入图片描述

**

2.4.1术语表的相关操作

**
术语视图允许用户执行以下操作:
创建,更新和删除术语
添加,删除和更新与术语关联的分类
添加,删除和更新术语的分类
在术语之间创建各种关系
查看与术语关联的实体

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

新建一个术语关系 选择一个合适的术语关系在Related Terms列选择一个术语 建立联系
在这里插入图片描述
在这里插入图片描述

2.4.2Category表的相关操作

类别视图允许用户执行以下操作:
创建,更新和删除类别和子类别
将术语与类别相关联
Category的作用就是方便术语的管理与使用

在这里插入图片描述

3Atlas权限管理

3.1Atlas Simple Authorizer

启用Atlas Simple Authprizer 权限管理 需要在/atlas/conf中配置文件atlas-application.properties

atlas.authorizer.impl=simple
atlas.authorizer.simple.authz.policy.file=/atlas/conf/atlas-simple-authz-policy.json

在/atlas/conf目录中有两个文件atlas-simple-authz-policy.json和 users-credentials.properties

atlas-simple-authz-policy.json文件用于配置权限、用户权限、用户组权限

在这里插入图片描述
在这里插入图片描述

举例:这个权限就是说可以任意操作id以@primary为结尾的且具有分类标签hive_db_test的数据实体。
在这里插入图片描述

users-credentials.properties用于配置用户名、用户所属用户组、用户密码
密码采用sha256编码
在这里插入图片描述

3 .2Atlas Ranger Authorizer

使用ranger可以实现一个可视化的Atlas权限的管理
需要在/atlas/conf目录中配置atlas-application.properties
atlas.authorizer.impl=ranger
Atlas Ranger Authorizer支持三种资源层次结构,以控制对类型,实体和管理操作的访问。
1、类型
在这里插入图片描述

2、实体
在这里插入图片描述

3、管理员
在这里插入图片描述

4、日志
Ranger会生成审核日志,包含用户访问的详细信息
在这里插入图片描述

因为ranger我没用过,就是一些官方文档的图,看看就好

4Atlas的Hive的使用

4.1Atlas中hive的数据类型

1.hive_column(hive的列)
在这里插入图片描述

2.hive_column_lineage(hive的列级血缘关系)

注:因为hive1.1不支持列级血缘关系展示,这里不做说明。

3.hive_db(hive的库)
在这里插入图片描述

4.hive_process(hive的进程)
在这里插入图片描述

5.hive_storagedesc(hive的储存描述)
在这里插入图片描述

6.hive_table(hive的表)
在这里插入图片描述

4.2Hive的血缘追溯

在Atlas 创建以前的表是没有办法导入血缘关系内容的
用一个小表做一个演示
创建了一个小表,导入几条数据
在这里插入图片描述

由student表 as 出stident1表
在这里插入图片描述

就能在这个表的lineage中看到这个表是怎么来的 自己->爸爸妈妈->爷爷奶奶->…
在这里插入图片描述

再根据 stident1 创建一个 stident2
在这里插入图片描述
在这里插入图片描述

血缘追溯功能是数据溯源的主要展示手段,主要通过数据流图的形式,展示出数据从哪里来,往哪去
如果数据出现了问题 就可以通过追溯数据的来源 来找到数据出现问题的原因,在哪个环节出现了问题

评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值