Gartner | 数据质量解决方案市场概况

增强的数据质量——由 AI/ML、元数据、跨数据管理产品的融合和集成驱动，以实现有用的自动化——仍然是该市场的关键驱动力。这项研究使数据和分析领导者能够了解供应商情况并做出最佳选择。

01

战略规划假设

• 到 2024 年，90% 的数据质量技术购买决策将把易用性、自动化、运营效率和互操作性作为关键决策因素。

• 到 2025 年，80% 的主流数据质量供应商将扩展其产品功能，以通过发现数据的模式、趋势和关系以及解决错误来提供更深入的数据洞察力。

• 到 2026 年，20% 的大型企业将使用单一数据和分析治理平台来统一和自动化分散的治理程序。

02

市场定义/描述

数据质量 (DQ) 解决方案是一组流程和技术，用于识别、理解、预防、升级和纠正数据中的问题，支持跨所有业务流程的有效决策制定和治理。市场上提供的专用打包解决方案包括一系列关键功能，例如数据分析、解析、标准化、清理、匹配、监控、规则创建和分析，以及内置工作流、知识库和协作。

这些打包的解决方案有助于实施和支持数据质量保证的实践，大部分作为更广泛的数据和分析 (D&A) 战略的一部分嵌入其中。D&A 领导者必须不断提高数据质量，以确保数据在各种现有和即将到来的用例中的使用和适用性，例如：

• 分析和数据科学

• 数据工程

• D＆A治理

• 主数据管理

• 运营/交易数据质量

• 人工智能/机器学习 (AI/ML)

这些需要不同程度的增强和自动化以及其他核心数据质量功能的流行和新兴用例的详细描述可以在配套的数据质量解决方案的关键能力中找到。

在选择数据质量解决方案时，D&A 领导者有多种选择。这个市场的主要驱动力——无论是在最近还是未来——都是增强数据质量 (ADQ)。

ADQ主要由元数据和人工智能相关技术驱动，是推动数据质量技术创新的关键因素。供应商通过增强功能来引领市场，以实现传统数据质量流程的自动化或引入新方法来增强数据质量最佳实践。

这些技术中的每一种都可以独立工作，也可以协同工作以产生网络效应，然后可用于提高数据质量自动化和有效性。例如，可以根据捕获的元数据构建知识图谱。然后可以利用图形中的模式来识别重复信息。重复数据将与其他实体共享连接。这种关系重叠可以提醒管理人员调查可能的数据重复或数据转换机会。

增强数据质量是一种新兴功能，可以通过元数据分析、知识图谱和人工智能技术增强常规和重复的数据质量过程。这会提高数据准确性、规范性建议和流程工作流的自动化，从而在降低运营成本的情况下快速实现价值。

Gartner对该市场的研究侧重于满足最终用户当前和未来需求的技术和方法。Gartner将数据质量解决方案市场定义为独立的软件产品，这些产品解决了组织在其数据管理解决方案组合中需要的以下数据质量功能：

• 连通性：跨各种数据源访问和应用数据质量，包括内部/外部、静态/流式、本地/云、关系/非关系数据源。

• 分析：对包括结构化/非结构化和本地/云数据集在内的各种数据集进行统计分析，使业务用户能够深入了解数据质量，并使他们能够识别数据质量问题。

• 分析和交互式可视化：交互式分析工作流和统计分析的可视化输出，可帮助业务和 IT 用户识别、理解和监控数据质量问题，并随着时间的推移发现模式和趋势，例如通过报告、记分卡、仪表板和移动设备。

• 监控检测：根据预配置、自定义监控规则或自适应规则进行数据质量监控，并告警违规。自动检测离群值、异常、模式和漂移。还为合规性要求提供监控仪表板、日志文件或审计跟踪。

• 解析、标准化和清理：根据政府、行业或地方标准、业务规则、知识库、元数据和机器学习 (ML) 对各种数据集进行分解和格式化。修改数据值以符合域限制、完整性约束或其他业务规则。

• 匹配、链接和合并：使用各种传统和新方法（例如规则、算法、元数据、人工智能 (AI) 和 ML）在不同数据集中或跨不同数据集匹配、链接和合并相关数据条目。

• 元数据和沿袭：收集和发现元数据或从第三方工具导入元数据。构建或导入沿袭以执行数据质量问题的快速根本原因分析和补救措施的影响分析。应用活跃的元数据发现，利用基于元数据的规则建议和关联、数据发现和编目、针对关键数据元素的度量视图。

• 多领域支持：解决多个数据主题领域（例如各种主数据领域和垂直行业领域）并为这些主题领域提供深度打包支持（例如预建数据质量规则）。

• 地址验证/地理编码：支持与位置相关的数据标准化和清理。实时或批处理完成部分数据。

• 数据管理和丰富：整合外部来源的数据以提高完整性和增加价值。

• 规则管理和数据验证：为特定数据值设计、创建和部署业务规则。这些规则可以在解决方案中调用，也可以由第三方应用程序调用以进行数据验证，这可以批处理或实时模式完成。

• 业务驱动的工作流和问题解决：通过管理工作流管理数据质量问题解决的流程和用户界面。通过协作、普遍监控和案例管理，轻松识别、隔离、分配、升级和解决数据质量问题。

• DataOps 支持：数据管理实践的协作侧重于改进整个组织中数据管理者和数据消费者之间数据流的通信、集成和自动化。

• 部署环境：用于部署数据质量操作的部署方式、硬件、操作系统和维护选项。

• 架构和集成：数据质量工具集（包括第三方工具）的各种组件与其他数据管理解决方案或组件之间的通用性、一致性和互操作性。

• 自动化和增强：通过利用 AI/ML、知识图、活动元数据或 NLP 等先进技术，使数据质量流程自动化或对数据集执行深入和快速的数据质量操作，以最大限度地减少人工工作。

• 多角色可用性：解决方案是否适合参与和支持数据质量计划中所需的各种角色（尤其是非技术业务角色）：数据工程师、管理员、DQ 分析师、数据架构师、DI 分析师、业务分析师、数据准备等。

在向更增强的数据质量功能过渡的推动下，数据质量解决方案市场正在进一步整合相邻的数据和分析市场，例如元数据管理、治理平台、数据集成工具和主数据管理 (MDM) 解决方案。

因此，D&A 领导者和从业者期望通过元数据的整合和共享驱动这些产品之间的无缝互操作性。评估和选择解决方案变得不那么专业化，现在需要与计划将它们用于各种用例的业务领导者和不同角色进行更多协作。

魔力象限

图 1：数据质量解决方案魔力象限

资料来源：Gartner（2022 年 11 月）

03

市场概况和市场需求

Gartner 一再强调采用关键方法来管理数据的健康和适用性的重要性，因为糟糕的数据质量会完全破坏业务价值。可信、干净和有效的数据是实现业务目标和竞争优势推动因素的基础。无论组织是继续照常经营业务、扩展业务、评估和降低风险，还是遵守法规，数据质量都是必不可少的。作为更广泛的数据和分析策略的一部分，数据质量从根本上与治理相关联，但也可以在各种数据和分析用例的不同阶段和不同环境中作为各种业务流程的一部分应用。

所有这些挑战都推动了数据质量解决方案的采用。数据只有在其质量、内容和结构得到记录和充分理解时才有用。脏数据、不足数据和/或不准确数据的成本仍然是一个巨大的威胁。为业务消费提供可靠、可信和及时的数据是一项持续的努力和过程，可以在数据质量解决方案中得到现代技术的支持。

使用此魔力象限可帮助您找到适合您组织需求的供应商和产品。此外，数据和分析领导者应采取以下行动来改进数据质量最佳实践并优化现代数据质量解决方案的使用：

• 通过证明数据源和数据本身的信任级别来采用自适应数据和分析治理（请参阅利用信任模型重置数据和分析治理和CDAO 必须使用自适应治理才能在数字业务中取得成功）。确定每个信任级别的数据质量要求（例如什么是“足够好”），因为实现 100% 完美的数据可能不切实际或不可能。这将启用一种更有针对性的方法来确定数据质量改进工作的优先级，并为利益相关者之间的协作创造敏捷性和灵活性。

• 通过评估数据质量供应商的数据质量智能能力（例如机器学习驱动的规则建议和预测分析）的能力来衡量数据质量供应商的技术创新，以应对日益多样化和复杂的数据带来的挑战。您可以首先评估现有数据质量供应商的现有产品和未来产品路线图，以增强数据质量功能。

• 培训非技术业务用户以提高数据素养，以便他们可以有意义地使用提供给他们的新自动化功能。确保他们能够在给定的业务环境下正确解释和管理数据，并在遵守数据治理和数据安全要求的同时决定正确使用数据。

• 与业务利益相关者合作，通过检查对现有治理要求的遵守情况并通过建立指标来显示有形收益，以评估和监控现代数据质量解决方案支持的解决方案。

市场概况

数据质量解决方案市场经历了温和的增长，并且由于不断增长的需求而仍然非常活跃，尤其是在这个经济不确定时期。世界各地的一些组织受到了严重影响，并在其治理实践和数据管理架构方面承受着巨大压力。组织已经意识到，对更具弹性的解决方案的需求始终如一且不断增长，这些解决方案可以通过更少的运营开销轻松扩展和管理。供应商的回应是致力于使数据质量流程和实践更加自动化，从而通过引入和持续增强增强型数据质量解决方案来支持自助服务功能。

数据质量解决方案市场——通常被视为传统工具市场——正在迅速过渡到更先进的增强型数据质量市场。供应商已经能够通过引入可以更好地利用元数据的功能来测试和执行他们的愿景，这些功能可以通过元数据的激活或使用多种 AI/ML 技术并将有用的自动化作为输出。这导致市场寻求进一步增强可用的自动化和扩充，同时自动化和扩充更平凡、耗时、耗费资源的数据质量活动。

增强的数据质量代表了使用元数据、知识图和 AI 相关技术改进传统数据质量流程的增强能力——以改进洞察发现、最佳下一步行动建议和提高准确性。此功能通过自动化流程工作流、最大限度地减少对人的依赖并缩短实现价值的时间，显着提高了效率和生产力。这种能力继续在另一个程度上推动数据质量解决方案市场：如果供应商在其产品中投入更多资金来增强数据质量，他们将拥有更大的竞争优势。在市场重新整合后，未能转向的供应商将变得无关紧要。

在接下来的几年里，数据质量解决方案市场将完全过渡到增强型数据质量市场。考虑到这一点，我们对市场定义和市场分析进行了多项更改，甚至基于向 ADQ 的转变引入了更新的关键功能。通过客户查询进行的需求评估分析进一步支持了这一点。

从收入增长的角度来看，数据质量解决方案市场呈现出加速增长的态势。数据质量解决方案市场增长率从 2020 年的 3.9% 增加到 2021 年的 6.4% 。随着全球市场从大流行的影响中复苏，所有数据管理软件市场在 2021 年都出现了增长。数据质量解决方案收入最高的两家供应商 SAP 和 Experian 继续保持良好增长。Informatica 在收入方面也保持强劲，尽管由于专注于数据质量的 iPaaS（iPaaS 被 Gartner 跟踪为一个单独的市场），其收入在 2021 年进一步下降。

Gartner 从终端用户端观察到以下市场需求：

灵活且可扩展的部署：

• 灵活且可扩展的部署选项，例如本地、云、多云、混合、PaaS、SaaS、 DQaaS或边缘或网关的数据质量流程

• 来自单一数据质量平台的跨异构数据源和环境的连接

• 数据源、景观、架构、数据量、用例和延迟的可扩展性

以角色为中心：

• 通过在他们自己的业务环境中的数据质量流程中的无代码或自助服务功能，为所有类型的用户赋权

• 基于角色的用户界面，具有基于不同用户角色和职责的专用数据质量工作流

• AI/ML 增强了用户社区协作以进行数据质量调查和解决

• 通过内置工作流、知识库和建议来支持不同行业和学科的各种用例，从而提高功能深度和业务环境

支持各种用例和数据域：

• 可扩展到新的用例，包括数据隐私、数据保护、数据操作和数据结构

• 可扩展的框架，以利用现有的数据质量实践、规则和技能来扩展用例

• 派对数据仍然最常见，但其他类型的数据正变得越来越重要，例如地理空间数据、物联网数据、流数据和交易数据

数据质量编排：

• 民主化的数据质量实践，通过利用 AI/ML、图形和活动元数据将数据质量集成到业务流程和应用程序中

• 数据管理员用于传播数据质量最佳实践的协作工作流

互操作性：

• 用于与不同系统集成的 API，以及跨组织应用于所有领域（应用程序和流程）的数据质量

• 从具有有限和有针对性的用例的点解决方案扩展到与相邻市场的集成解决方案以简化流程

• 与元数据解决方案紧密集成，以共享多个独立的和平台或工具嵌入的数据目录以及数据沿袭

数据质量流程：

• 数据质量对于任何业务运营都是不可或缺的，因此数据质量开始作为所有业务流程的嵌入式和重要部分发挥作用

• 通过 API 调用在任何地方集中制定和执行数据质量规则

• 人工智能/机器学习驱动的数据质量流程，通过识别相似性和应用预定义的解决方案，最大限度地减少人为干预和错误；人工智能还可以通过覆盖未知数据和发现未知问题来提高数据质量的范围

灵活的定价和许可选项：

• 简单且可预测的定价，例如基于消费的定价

• 灵活定价以扩大或缩小规模

• 用于初始评估的免费增值或试用选项可降低进入门槛

为了响应这些需求，数据质量解决方案市场的供应方已转向更广泛地采用 ADQ。几家供应商已成功地将 ADQ 作为其愿景的一部分，但尚未能够实现这一愿景。这些未能提供 ADQ 功能的供应商将被视为传统的供应商，并将把市场份额拱手让给能够推动快速、轻松采用的更具创新性的供应商。

这些供应商以及产品创新还必须考虑易用性、灵活部署、数据管理功能的统一或与第三方工具（如元数据管理、沿袭等）的本地集成以实现端到端无缝的数据管理体验。

最后，供应商需要结合更多最新的发展，如数据可观察性。这将是增强数据管理的扩展，结合了 ADQ、活动元数据和 DataOps 的功能。在他们发现数据问题的方法中，数据可观察性解决方案以自动异常和异常值检测为目标，并能够重用这些算法进行规则开发。但是，这些解决方案并非专用于解决问题。

文章原链接：https://www.gartner.com/doc/reprints?id=1-2BKGLATK&ct=221101&st=sb