统一数据治理平台OpenMetadata 1.4.0版本发布！数据血缘、高级数据质量报告功能发布！...

OpenMetadata作为数据治理和元数据管理领域的领先开源平台，持续致力于满足数据用户和组织的多样化需求。最新的1.4.0版本为用户带来了一系列创新功能和重大改进，进一步增强了平台的功能性和易用性。

我们在社区统计数据中也看到了OpenMetadata的增长：

• GitHub 上有近4400 颗星（比上一个版本多了 800 颗星）

• 250 位开源贡献者（自上一版本以来增加了 25 位）

• 将+850 提交合并到1.4 版本

此版本中的增强功能和我们获得的社区支持进一步证明 OpenMetadata 确实是迄今为止最好的开源元数据项目。

本文为大家整理了一下主要的更新内容，更多的详细内容可在官网进行查看。

数据血缘和可观察性的重大升级

数据血缘的改进是本次更新的一大亮点。OpenMetadata现已支持通过API和UI连接所有数据资产类型及其字段/模式的血统，包括表、管道任务、仪表板图表、ML模型特征和主题字段等。此外，支持的血缘关系也得到扩展，如管道任务与任意两个实体类型之间的血源关系。这一改进大幅增强了对数据流向的全面洞察。

以前，我们将管道限制为仅两个表之间的沿袭。现在，我们支持将管道作为任意两个实体类型之间。我们还升级了对 Tableau、Superset、Qlik Cloud 和 Qlik Sense 数据模型和表之间列级沿袭的支持。OpenMetadata Spark Agent 现在支持 Snowflake 和 Databricks 的表及其原始存储容器之间血缘获取。我们现在支持解析 PowerBi DAX 文件的沿袭，以及 Snowflake 动态表。我们将继续扩展到不同的服务。

为提高血缘可视化的易用性，OpenMetadata引入了"血缘层"概念，用户可根据需求在列级和数据观察层等多个层次间切换。同时，新增的列级血缘搜索功能也让跟踪列变形位置更加便捷。此外,团队还优化了血缘图显示、导出等体验细节。

数据质量和可观察性的改进

在数据质量和可观察性方面,新增的数据可观察性过滤器使用户能按表、平台、测试类型、状态等多种维度对测试用例进行细粒度分析。同时，上手难度也得到降低，如表架构页面直接显示每列的数据质量测试、允许更新显示名称等。

数据分析器全面升级,可全局管理分析配置

数据分析器是OpenMetadata的核心功能之一。在1.4.0版本中，新增的分析器配置页面使用户能够按数据类型自定义计算指标，从而轻松管理分析并优化性能。同时,分析器支持得到扩展，覆盖了Redshift复杂类型和NoSQL源。一系列性能改进也使分析过程更加高效，如优化大值求和、支持科学记数法直方图等。

摄取性能大幅提升,降低成本

作为元数据集中管理的利器,OpenMetadata一直在加强摄取连接器的性能。1.4.0版本引入了增量元数据摄取的创新方案,通过扫描查询历史记录中的DML操作来减少不必要的数据扫描,目前已支持BigQuery、Redshift和Snowflake。此外,引入对数据库模式级并行化提取的支持,也进一步提高了效率。

数据洞察帮助提高数据质量和生产力

数据洞察模块可定义数据描述和所有权KPI,帮助团队达成文档目标。新版本新增了识别未记录或缺乏所有权资产的选项,使团队能够高效解决这一痛点,提升整体元数据质量。此外,报告界面也得到优化,提供更直观、可用的资产洞察。

自定义属性提升元数据管理灵活性

自定义属性功能得到重大增强,现已支持实体引用和实体引用列表等高级属性类型。用户可以方便地将数据资产与平台内其他实体建立关联,从而丰富元数据内涵,提升管理灵活性。

自定义主题

OpenMetadata 为元数据平台设定了 UX/UI 设计标准。借助自定义主题功能，管理员可以创建个性化主题以匹配其组织的调色板，从而确保提供统一且品牌化的用户体验。

健康检查状态页面

OpenMetadata 以其易用性和可维护性而闻名。我们新的健康检查页面进一步简化了验证所有配置是否正确设置的过程，帮助新采用者最大限度地利用 OpenMetadata。

其他增强功能全面改善用户体验

OpenMetadata 1.4.0版本中,还包括了诸多其他改善用户体验的增强功能:

• 活动提要界面得到优化,提供不同实体的丰富上下文信息

• SSL证书管理改进,支持直接通过UI传递证书

• 新增Kafka Connect、Qlik Cloud等连接器

• 表架构页面支持查看DDL定义

与此同时,OpenMetadata也对社区支持和文档做了相应调整，引入新的工具如openmetadata-ops.sh，并弃用了部分过时功能。总的来说，这些改动都是为了给用户带来更简单、高效的体验。

不可否认,1.4.0版本中部分改动带来了向后不兼容的变更,如活动源、Lineage视图、批量导入导出API等更新。OpenMetadata这次1.4.0的升级再次彰显了其在元数据管理和数据治理领域的雄心和决心。功能强大且不断进化的OpenMetadata，必将持续助力全球组织构建现代化的数据格局。期待其在未来带来更多创新功能，帮助用户充分释放数据价值。