技术11期：Atlas的概念你了解多少？

最新推荐文章于 2024-10-10 08:33:43 发布

置顶

极客小普冲呀

最新推荐文章于 2024-10-10 08:33:43 发布

阅读量1.1k

点赞数

分类专栏：人工智能技术讨论文章标签： python java 数据库编程语言 atlas

本文链接：https://blog.csdn.net/pushiai/article/details/107162588

版权

Apache Atlas是一款开源的Hadoop元数据治理项目，旨在解决数据血缘、分类等治理问题。它提供数据分类、策略引擎、数据血缘、安全和生命周期管理等功能，并支持多种Hadoop和非Hadoop元数据类型。Atlas通过图形引擎管理和存储元数据，使用Rest API进行集成，具有字段级别的数据血缘追溯和精细的权限控制。

摘要由CSDN通过智能技术生成

导读

在当今大数据的应用越来越广泛的情况下，数据治理一直是企业面临的巨大问题，大部分只是单纯的对数据进行了处理，而数据的血缘、分类等等却很难实现，市场上也急需要一个专注于数据治理的技术框架，这时Atlas应运而生。

▐ Atlas的定义：

Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心功能。

Atlas支持各种Hadoop和非Hadoop元数据类型，提供了丰富的Rest Api进行集成，对数据血缘的追溯达到了字段级别，对权限也有很好的控制。

▐ Atlas的架构原理：

❑ 核心组件：

（1）Core

Ingest/Export（采集导出组件）：Ingest组件允许将元数据添加到Atlas；Export组件暴露由Atlas检测到的元数据更改，以作为事件引发，消费者可以使用这些更改事件来实时响应元数据更改。

Type System（类型系统）：Atlas允许用户为他们想要管理的元数据对象定义一个模型。类型系统是一个组件，允许用户定义和管理类型和实体。由Atlas管理的所有元数据对象（如Hive表）都使用类型进行建模，并表示为实体。

Graph Engine（图形引擎）：Atlas在内部通过图形引擎来管理元数据对象，以实现元数据之间的巨大灵活性和丰富的关系。Graph Engine是负责在Type System中的类型和实体之间进行转换的组件，以及基础图形模型。除了管理图形对象之外，图形引擎还为元数据对象创建适当的索引，以便有效进行搜索。

JanusGraph（图数据库）：用来存储元数据对象。默认情况下，元数据存储配置为HBase，索引存储配置为Solr。

（2）Integration

API：Atlas的所有功能都可以通过Rest Api提供给最终用户，允许创建、更新和删除类型和实体。它也是查询和发现通过Atlas管理的类型和实体