超级会员免费看
Apache Atlas是一款用于大数据管理的元数据治理产品，帮助企业管理和追踪数据资产，提供数据血缘和分类。本文介绍了Atlas的基本概念、架构原理，特别是其在Hive元数据管理中的应用，包括元数据存储模型、安装部署及操作实践，如查询Hive表的血缘关系。此外，还探讨了如何通过Rest Api自定义元数据模型和生成血缘。
引言
Apache Atlas 是托管于 Apache 旗下的一款元数据管理和治理的产品，目前在大数据领域应用颇为广泛，可以很好的帮助企业管理数据资产，并对这些资产进行分类和治理，为数据分析，数据治理提供高质量的元数据信息。
随着企业业务量的逐渐膨胀，数据日益增多，不同业务线的数据可能在多种类型的数据库中存储，最终汇集到企业的数据仓库中进行整合分析，这个时候如果想要追踪数据来源，理清数据之间的关系将会是一件异常头疼的事情，倘若某个环节出了问题，追溯的成本将是巨大的，于是 Atlas 在这种背景下应运而生了，通过它，我们可以非常方便的管理元数据，并且可以追溯表级别，列级别之间的关系（血缘关系），为企业的数据资产提供强有力的支撑和保障。Atlas 支持从 HBase 、Hive、Sqoop、Storm、Kafka 中提取和管理元数据，同时也可以通过 Rest Api 的方式自行定义元数据模型，生成元数据。
本文我们着重介绍一下 Atlas 的相关概念，帮助大家更好的理解 Atlas，同时详细讲解如何通过 Rest Api 的方式自定义数据模型，生成血缘关系，以便开发自己的个性化需求。
元数据
元数据其实就是描述数据的数据，比如表
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
