投资数据质量：纳斯达克提高数据可靠性的历程

投资数据质量：纳斯达克提高数据可靠性的历程

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， Monte Carlo， Data Observability Platform， Data Quality Monitoring， Insights Management Suite， Cloud Native Solution， Data Monetization Challenges]

导读

作为世界上最大的证券交易所之一，纳斯达克深知高质量数据不仅仅是锦上添花，而是至关重要的。这意味着选择能够在性能、规模和可靠性方面交付的技术合作伙伴同样重要。因此，在实施Amazon Redshift后，纳斯达克团队将注意力转向了数据可观察性方面的数据质量。在本次演讲中，纳斯达克产品管理副总裁Michael Weiss将分享纳斯达克数据演进的历程，他们如何与亚马逊云科技和Monte Carlo合作以满足现代数据挑战的需求，以及如何在几乎任何规模下实施数据质量计划的最佳实践和建议。本次演讲由亚马逊云科技合作伙伴Monte Carlo为您呈现。

演讲精华

以下是小编为您整理的本次演讲的精华。

在2024年亚马逊云科技 re:Invent大会上，纳斯达克智能平台产品管理副总裁Mike Weiss做了一次全面的演讲，介绍了纳斯达克如何利用Monte Carlo的数据可观测性来提高数据质量。Weiss首先概述了纳斯达克公司，它被广泛认为是美国的股票交易所运营商。但他强调纳斯达克的业务远不止于此，该公司在全球运营着30多个不同的市场，主要集中在北美和北欧地区。此外，纳斯达克还是全球最大的金融科技解决方案提供商之一，为全球130多个市场和2200多家金融机构提供服务。

接下来，Weiss深入探讨了纳斯达克业务中数据的各种用例。首先，监管报告在其中扮演着关键角色，因为作为一家受监管的企业，纳斯达克有义务向各机构提供洞见和报告以确保合规。其次，市场监控也是一个关键方面，使纳斯达克能够监控市场行为、识别潜在的恶意行为者或恶意活动并及时采取适当行动。第三，纳斯达克利用数据进行客户报告和洞见分析，分析客户行为、瞄准特定市场细分、吸引新的订单流、并根据不同的市场状况了解如何优化收入或市场份额。最后，数据驱动纳斯达克除交易之外的关键业务洞见，为客户提供跨多个接触点的360度视角，包括纳斯达克为金融机构提供的技术解决方案。

在谈到现代数据管理和货币化的挑战时，Weiss承认，人们往往容易过于关注平台的最低层，如数据湖、数据仓库和数据摄取流程。然而，他强调了考虑业务需求以及数据访问、货币化，最重要的是数据信任度的挑战。即使在数据生态系统中拥有大量数据，如果无法信任这些数据，它们实际上就变得毫无用处。这正是数据可观测性平台Monte Carlo在帮助纳斯达克方面发挥了关键作用。

纳斯达克的智能平台是一个自2013年就在亚马逊云科技上运行的云原生解决方案，经过十年的努力来解决现代化挑战。最初专注于数据收集、高效存储和摄取，纳斯达克逐步在此基础上进行了构建，最终推出了Insights Management Suite，为业务用户提供访问和利用数据洞见的产品。值得注意的是，纳斯达克旨在将这一解决方案作为其市场技术产品的一部分提供给其他市场运营商和金融机构，使他们能够从纳斯达克的专业知识中获益，而无需自己构建和组装整个解决方案。

Weiss分享了一些令人印象深刻的统计数据，展示了智能平台的影响。自推出以来，纳斯达克新报告或新洞见的上市时间缩短了75%。此外，大约有2200名内部用户利用报告产品或洞见产品，每天生成6000到10000份报告，这是一个巨大的工作量，必须满足严格的服务级别协议(SLA)。

回顾纳斯达克的发展历程，Weiss透露该公司自2012年就开始在云端运营，最初推出了一款监管报告产品，但由于当时提供服务的理念过于超前，未能获得市场认可。随后，纳斯达克转而解决自身的用例，于2013年专注于推出基于云的数据平台解决方案。随着时间的推移，纳斯达克逐步扩展了产品线，最近推出了面向非纳斯达克市场的智能平台，并计划于2024年底和2025年将其投入非纳斯达克市场的生产环境。

在定义数据可观测性时，Weiss引用了Gartner的定义，强调在分布式环境中端到端监控数据、了解数据质量、数据线索、影响以及数据中断的财务成本。他进一步阐释了这一概念，解释说数据可观测性意味着持续监控随时间演变的数据，因为生产环境中的数据并非静止不变，今天相关的数据六个月后可能就不再相关。

Weiss概述了数据可观测性工作流程，包括检测与数据新鲜度、数据量、模式变化、质量、字段健康状况和值范围相关的问题。一旦发现问题，下一步就是分类，即了解影响、数据线索、分配所有权并将问题传达给负责人。随后的步骤是通过修复数据、代码或系统来解决问题，并测量数据本身的正常运行时间，而不仅仅是系统正常运行时间。Weiss承认，在数据生态系统中，测量往往被忽视，尽管它对于确保数据可靠性至关重要。

为了说明数据可观测性在纳斯达克的价值，Weiss分享了一个例子，其中一位业务用户注意到月度收入数据与会计团队的数据存在差异。在这种情况下，纳斯达克将调查数据新鲜度(数据是否正确加载)、数据形状、值范围和字段健康状况，以便及时识别和解决问题。在没有合适工具的情况下，这个过程往往非常困难，需要耗费大量时间来寻找根本原因。

Monte Carlo已成为纳斯达克数据处理的统一平台，从数据摄取到数据准备和输出。纳斯达克利用Monte Carlo监控数据摄取过程，确保数据加载的一致性、数据形状和数据量。在数据转换过程中，纳斯达克监控其管道，并执行字段健康状况监控、关键指标分析、重复数据检测和空值识别。这种全面的方法使纳斯达克能够比在实施Monte Carlo之前更高效地检测、解决和预防问题。

纳斯达克采用分步方式在其数据湖设置中部署了Monte Carlo。共享监控器用于常见的Redshift端点，重点关注模式检测和数据量指标，以确保及时加载数据。应用程序特定的监控器用于分析Redshift端点，监控dbt作业并确保dbt模型生成正确的指标和信息。最关键的是，纳斯达克还监控其计费端点，因为准确的收入收集和计费需要接受监管监督，需要严格的数据质量措施。

Weiss强调了几个Monte Carlo帮助纳斯达克及时发现和解决问题的实例。例如，纳斯达克能够在当天检测并解决当日加载失败的问题，与等到第二天的计费运行相比，节省了大约8小时的开发和运营时间。此外，纳斯达克还识别并防止了一个数据集中的重复信息，避免了潜在的计费错误。在一个值得注意的案例中，纳斯达克发现计费端点缺失数据，这是由于视图版本问题导致的，但由于Monte Carlo已经在公共端点上识别出了模式变化，因此这个问题被及时发现。这使纳斯达克能够在几分钟内解决问题，而不必花费数小时来调查根本原因。

总之，Weiss强调了数据可观测性在确保数据质量、信任度和可靠性方面的关键作用，这对于纳斯达克的业务运营和合规监管至关重要。Monte Carlo已成为纳斯达克数据生态系统的重要组成部分，使公司能够高效地检测、分类、解决和测量数据问题，从而提高整体数据质量和洞见。Weiss鼓励与会者访问大会上的Monte Carlo展位以获取更多信息，如有任何其他问题，也可直接与他联系。

下面是一些演讲现场的精彩瞬间：

演讲者首先介绍了纳斯达克公司，然后深入探讨了他们与Monte Carlo的合作，以及如何利用其技术来增强洞察力。

Monte Carlo的数据可观测性平台帮助组织信任其数据，使他们能够在复杂的数据生态系统中有效地访问和货币化数据。

数据可观测性提供了持续监控和调整数据随时间变化的机制，确保了生产环境中的数据质量和相关性。

强调了数据可观测性在检测、分类、解决和衡量数据问题方面的重要性，以确保数据质量和可靠性。

Andy Pavord强调了数据可观测性和衡量数据质量的重要性，而不仅仅是系统正常运行时间，以确保可靠的数据管道。

亚马逊云科技利用其数据可观测性平台在几分钟内发现并解决了一个计费数据问题，从而防止了潜在的客户影响。

总结

纳斯达克(Nasdaq)是一家领先的全球交易所运营商和金融科技提供商，着手开启了一场旨在提升其庞大生态系统中数据质量和可靠性的变革之旅。Mike Weiss是纳斯达克智能平台的产品管理助理副总裁，他分享了他们如何利用Monte Carlo的数据可观测性平台来彻底革新其数据管理实践的引人入胜的故事。

纳斯达克智能平台是一项持续了十年的努力，旨在为全球市场运营商和金融机构提供一套全面的洞察和报告解决方案。纳斯达克认识到数据信任的至关重要性，因此采用了Monte Carlo的数据可观测性功能，以端到端监控数据，确保其分布式环境中的数据质量、数据线索和影响。

通过将Monte Carlo整合到其工作流程中，纳斯达克获得了检测数据异常、分类问题、迅速解决问题以及衡量数据正常运行时间(这是数据领域中常被忽视的关键指标)的能力。这种主动方法使他们能够捕获当天的负载失败、识别重复数据，甚至发现计费差异，从而节省了大量开发和运营时间。

Weiss强调了数据可观测性的变革力量，使纳斯达克能够持续监控和适应不断演变的数据模式，确保其洞察的可靠性和值得信赖。以Monte Carlo为基石，纳斯达克有望提供无与伦比的数据质量，并为客户提供准确、及时和可操作的智能。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。