如何让数据为企业服务？—答案是数据可观测性

一、企业数据问题日益严重

在很多企业中，数据处理都没有充分的准则来规范。由于缺乏对可用数据的可见性和理解性，企业数据在大多数关键决策过程中得不到有效的使用。

超过70%的员工可以访问他们不应该看到的数据。由于初始数据质量太差而无法自动化处理，分析人员将80%的时间都花在手动数据分析上。随着企业越来越依赖数据驱动的商业模式来提高财务业绩，这些数据问题会不断加剧。

管理企业数据是一个很大的话题，而最好的理解它的方法是将数据变得可观测。数据可观测性提供了一种结构化的方法来监视和管理混合数据湖和数据仓库中的数据。简言之，通过实现全面的数据可观测性，企业可以确保其数据工作，以帮助实现企业最关键的业务目标。

二、正确认识企业中的数据

我们需要区分真实数据的来源和数据的衍生品。例如，营销、销售和客户服务团队使用来自CRM和营销自动化系统的数据来跟踪客户和潜在客户的状态以及他们在购买过程中的位置。这些信息和其他来源的数据集成后可以创建衍生信息。例如，同时使用原始数据并将其与其他存储库中的数据配对后可以使得市场营销团队能够为数据中的潜在客户和客户创建特定的消息和定制活动。

在通用电气公司，财务数据湖（FDL）团队整合了140个不同的来源来创建一个基准数据，以改善公司的财务运营，包括现金流、应收应付账款和合同等。财务数据湖（FDL）团队为通用电气公司的大多数业务提供了唯一且真实的财务来源，每条业务线都可以在其运营环境里使用。

将企业数据质量管理作为一个过程来实施，这些意味着什么？为了回答这个问题，我们首先定义三个关键要素，这三个要素对于理解谁从数据质量管理中受益以及他们在寻找什么非常重要：

• 数据生产者：数据生产者是指产生关键数据的应用程序和操作过程，而这些关键数据是构成组织事实来源的基础。在某些情况下，这些数据来自于第三方，但不管来源如何，它都是一类数据的基础。例如，像员工数据是来自于Workday这样的人力资源系统，该系统是与人力资源相关的员工信息存储库。
• 数据消费者：数据消费者是指可以接收和使用不同来源的数据并将数据转变为可用的格式交付给最终用户的应用程序和操作过程。例如LOB应用程序、管理报告控制台、机器学习和人工智能应用程序以及组织各个部门的操作报告等都是数据消费者。
• 关键数据元素：这是表示客户、位置、存储或集合的数据。这些关键数据元素通常长期驻留在数据湖、数据仓库和数据库中。例如，人力资源系统中的关键数据元素包括员工配置文件中的数据。它们可能包括工资、职称、报告结构和其他识别个人独特属性的数据。

此外，了解不同类型的数据中断以及数据在生命周期的不同阶段可能发生的中断非常重要：

• 数据错误是由应用程序的错误数据输入、传递信息和输入信息丢失或应用程序中断引起的。
• 当预期数据和实际数据之间存在错误的解释或不匹配时，坏数据就会被使用。
• 当数据系统建立在相互连接的数据系统之上时，处理或传输数据错误是最常见的，因为数据是以移动或流式的方式传输的。这种处理错误存在于提取、转换、加载（ETL）和更改数据捕获（CDC）过程中以及来自数据流的消耗。

三、企业需要测试数据以确保质量

数据科学家需要一个早期性的预警系统以在数据生命周期的各个阶段测试数据的质量和一致性。他们必须使预警系统与测试计划保持一致，并且测试的结果必须能够辨别在应用程序和数据存储库中那些地方出现了问题。处理错误数据的应用程序应该知道数据何时是不可用的，并且生产应用程序组应立即对错误数据采取行动。

然而，并非所有的数据都能通过规则测试，数据科学家使用标准更高的数据质量平台来筛选从众多来源中积累的大量数据。数据表的分类以及数据源的关系解释对于在整个企业中有效传播数据集的使用至关重要。

数据使用者可以将数据质量结果和产出集成，以编程方式运行检查并插入断路器。结果可能是向感兴趣的用户组报告，或者重新运行数据管道，或者如果发生了变化，则重写应用程序逻辑。

四、数据可观测性解决了数据质量问题

数据可观测性是一个新兴的领域，它允许企业获得对底层数据的语义理解，并将数据分类为生产者、消费者和关键数据元素。一旦确定了真相的重要来源，该数据的生产就可以进行强有力的数据验证检查，并将关于错误的预告信息发送给负责该数据的团队。

创建企业数据质量管理过程需要有效和可靠的数据可观测性，因为数据可观测性可以使数据团队能够自信地且不受限制的处理大型数据集。企业数据团队需要保护他们的真实数据来源，但允许数据在严格的网络效应标准下进行扩散以对组织产生益处。HongKe 的数据可观测性解决方案可以通过大规模的自动化数据质量管理和可靠性检测来确保数据在整个数据管道中准确、完整和及时的通行。

原文链接：https://www.acceldata.io/blog/enterprise-data-quality-management