数据质量管理平台

数据质量管理平台是数据治理中的重要步骤，它用于准备数据以符合质量标准，例如有效性、均匀性、准确性、一致性和完整性。这种平台可以帮助分析师获得更加准确的数据，并从数据集中删除不需要的、重复的和不正确的数据。数据质量管理平台也是三维天地信息标准化管理一体化平台解决方案中的核心标准组件。

数据质量管理平台是一种软件工具，用于帮助组织有效地收集、存储、管理和解析数据。这些平台提供了一系列工具和功能，使组织能够确保他们的数据质量，包括数据清洗、数据校验、数据整合、数据分析等功能。

这些平台还可能包括数据治理功能，帮助组织制定和执行数据管理策略和流程，以确保数据的准确性、一致性和可用性。

总的来说，数据质量管理平台的目标是帮助组织提高他们的数据质量，从而提高决策制定的准确性，提高运营效率，降低风险，以及提高客户满意度。

Qualitis

Qualitis是一个支持多种异构数据源的质量校验、通知、管理服务的数据质量管理平台，用于解决业务系统运行、数据中心建设及数据治理过程中的各种数据质量问题。

Qualitis基于Spring Boot，依赖于Linkis进行数据计算，提供数据质量模型构建，数据质量模型执行，数据质量任务管理，异常数据发现保存以及数据质量报表生成等功能。并提供了金融级数据质量模型资源隔离，资源管控，权限隔离等企业特性，具备高并发，高性能，高可用的大数据质量管理能力。

核心特点

1）数据质量模型定义

支持以下数据模型定义：

1.单表校验数据模型。

2.跨表校验数据模型。

3.自定义校验数据模型。

同时，系统预置了多个数据质量校验模版，包括空值校验，枚举校验等常用校验，并且支持自定义数据质量模版。

2）数据质量模型调度

支持数据质量模型调度。

3）数据质量报表

支持生成数据质量报表。

4）日志管理 

日志聚合管理，方便排查数据质量任务

5）异常数据管理 

支持异常数据提取和存储，快速定位问题

6）支持工作流 

支持在工作流当中进行数据质量校验

工作流必装DataSphereStudio.

7）管理员控制台

提供管理员控制台界面，支持人员管理，权限管理，权限管理，元数据管理等管理功能。

与类似系统对比

开源的数据质量管理平台

开源的数据质量管理平台有以下几个：

1、Talend Data Quality：Talend是一款流行的开源数据集成和数据管理工具，其Data Quality模块提供了数据质量管理功能，包括数据清洗、数据标准化、数据去重等。

2、OpenRefine：OpenRefine是一个用于数据清洗和转换的开源工具，它可以帮助用户清洗和整理数据，处理数据中的错误和不一致性。

3、DataCleaner：DataCleaner是一款开源的数据质量管理工具，它提供了数据质量评估、数据清洗、数据标准化等功能，可以帮助用户改善数据质量。

4、Apache Griffin：Apache Griffin是一个开源的数据质量解决方案，它提供了数据质量评估、数据质量监控等功能，可以帮助用户管理和监控数据质量。

5、Pentaho：Pentaho是一款开源的商业智能（BI）工具，提供数据集成、报告、数据挖掘和数据分析功能。

6、Apache Nifi：Apache NiFi是一种易于使用、强大而且可靠的数据处理和分发系统。它支持数据路由、转换和系统中介。

7、Databene Benerator：这是一款强大的开源数据库测试数据生成工具，能够基于数据库的表和约束生成数据。

8、CloverDX：CloverDX是一款数据集成框架，可以进行数据转换、数据清洗和数据质量管理。

9、Awesome-pipeline：Awesome-pipeline是一个开源的数据管道工具，它可以进行数据抽取、数据加载和数据转换。

10、H2O：H2O是一款开源的机器学习和预测分析平台，提供数据分析和数据模型构建的功能。

11、Open Metadata：OpenMetadata是元数据的开放标准，为端到端元数据管理解决方案提供了基础能力。提供数据发现、数据治理、数据协同、数据质量和可观测性的所有必要组件。其UI非常美观，操作和使用逻辑也符合业务人员的习惯。

12、CKAN：CKAN是一个开源的数据管理平台，它提供了一个强大的数据发布工具，可以帮助用户共享、发布和发现数据。

这些开源的数据质量管理平台都提供了一系列功能和工具，帮助用户管理和提升数据质量，可以根据组织的需求选择适合的平台进行使用。

转自：【开源】数据质量管理平台