- 博客(2)
- 收藏
- 关注
RSS订阅原创 Datahub组成
摄入框架是一个模块化、可扩展的 Python 库，用于从外部源系统（例如 Snowflake，Looker，MySQL，Kafka），将其转换为DataHub的元数据模型，并通过以下方法将其写入DataHub。元数据模型是定义构成元数据图的实体和方面的形状以及它们之间的关系的模式。实体表示特定类别的元数据 数据集、仪表板、数据管道等资产。GraphQL API 提供了一个强类型、面向实体的 API，可以与包含元数据的实体进行交互 图形简单，包括用于添加和删除标签，所有者，元数据实体链接等的API！
2023-03-27 10:14:28
268
原创 Datahub体系结构概述
DataHub的元数据基础设施是面向流的，允许在几秒钟内在平台内传达和反映元数据的变化。您还可以订阅 DataHub 元数据中发生的更改，从而允许您构建实时元数据驱动的系统。例如，您可以构建一个访问控制系统，该系统可以观察以前全局可读的数据集，添加一个包含 PII 的新架构字段，并锁定该数据集以进行访问控制审查。但是，它还支持可以由不同团队拥有和运营的联合元数据服务 - 事实上，这就是LinkedIn内部运行DataHub的方式。DataHub的架构有三个主要亮点。元数据建模的架构优先方法。
2023-03-24 14:53:58
509
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人