COP210 | 美国金融业监管局：让数据民主化，更快地用 Grafana 解决问题

COP210 | 美国金融业监管局：让数据民主化，更快地用 Grafana 解决问题

关键字: [Amazon Web Services re:Invent 2023, Amazon Managed Grafana, Data Democratization, Customer Experience Metrics, Operational Metrics, Data Driven Decisions, Observability]

本文字数: 1800, 阅读完需: 9 分钟

视频

导读

当发生操作事故时，工程师需要尽快访问数据，以便快速诊断和解决问题。美国金融业监管局能够通过在 Amazon Managed Grafana 上创建一个增强的运营报告和可视化平台来解决这个问题。他们的解决方案缩短了解决问题的时间，改善了客户体验以及组织的整体运营态势。加入本次分享，您将了解到如何在整个组织中以安全的方式访问数据，以便您的团队能够更有效地运营。

演讲精华

以下是小编为您整理的本次演讲的精华，共1500字，阅读时间大约是8分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

亚马逊云的全球产品负责人Helen Li在re:Invent的周三下午时段吸引了超过1000名观众。她从一个问题开始，询问与会者是否曾在需要数据指导决策的时候感到困惑。正如Helen所预期的一样，大部分人纷纷举手，承认很多时候不得不依赖直觉而非数据做出艰难的决策。

Helen指出，尽管依赖直觉做决策很正常，但大多数人更愿意做出数据驱动的选择。问题的关键在于获取正确的数据，以及具备正确可视化和理解数据的工具。她分享了一个例子，展示了她的团队如何在re:Invent开幕前的关键时刻，必须根据数据做出有风险的权衡决策。这表明了如何收集正确的数据并提供适当的可视化工具的重要性，以便对整个组织的运营和业务功能进行监控，从而使各个层级的决策都能基于数据进行。

Helen进一步阐述了观测性的概念，即通过指标、日志和追踪这三根支柱来监控应用程序和基础设施的健康状况与性能。这使得团队在面临服务级别协议风险时可以收到警报，并能迅速隔离和解决问题。然而，观测性并不仅仅局限于应对突发故障，它还能实时查看更改，助力构建具有弹性且自我修复能力的应用程序。

Helen强调，这对于客户体验至关重要。她用疫情期间抢购卫生纸的例子说明了这一点。通过提高系统的恢复能力，观测性带来了更好的客户体验。

在数据民主化的过程中，海伦将其视为一个组织内部共享数据和工具以实现数据驱动决策制定的过程。她指出了一系列常见的挑战，如跨多个孤立的工具的数据生活在孤岛中，需要确保适当的数据治理和访问控制，以及应对大量增长数据的规模，例如每秒百万级别的日志或每分钟数百万次指标。

然而，仅收集数据是不够的，还需要有效地可视化数据以提供见解。海伦认为，与原始数据转储相比，美观的仪表板具有更高的价值。

接下来，海伦介绍了亚马逊云科技如何满足这些需求：通过提供完全管理的Prometheus选项，即Amazon Managed Service for Prometheus，能够处理数百万个操作指标；以及提供托管的Grafana工作空间，即Amazon Managed Grafana，可以支持多达10,000名用户在各种数据源上创建仪表板。这些服务共同允许将操作和数据业务数据的可视化集中到一个单一的仪表板中。

海伦强调了亚马逊云科技的一些最新特性发布，包括VPC连接以进行安全的私有访问，提高的规模目标，如Prometheus中的2亿活跃时间序列和每个Grafana工作空间的10,000名用户，以及新的可视化面板，如Sankey、漏斗和散点图。这表明亚马逊云科技正在大力投资于这些观测性和数据民主化功能。

在此阶段，海伦邀请了FINRA技术高级总监苏塔·巴赫（Suata Bachu）来介绍他们是如何利用这些类型的服务来构建其组织内的数据民主化和观测性实践的。

苏塔首先阐述了数据民主化的定义：以安全、受控制的方式使数据可供用户使用，以便他们可以做出基于数据的决策。她解释了数据民主化的关键组件，如数据素养、自助式分析、有效的可视化和适当的数据治理和安全。最后，她将数据民主化概括为一个将数据整合到单个可访问地方的实践，以授权组织内的用户。

In practical examples, Suata has demonstrated FINRA's first use case: providing data democratization for remote workspace tools. She explained that they support a variety of collaboration applications used throughout the organization, including audio, video, messaging, file sharing, and channel platforms. However, they faced challenges in obtaining unified visibility for these tools from different suppliers, as each supplier had their own definitions of metrics.

To address this issue, FINRA utilized Amazon Web Services (亚马逊云科技) S3 Data Lake and Amazon Managed Grafana to build a solution. They extracted usage data from various tools through regular API calls. The raw data was stored in S3 buckets and processed by Amazon Web Services Glue crawlers and ETL jobs, then provided as dataset for temporary queries with Athena. These datasets could be visualized in Managed Grafana to create dashboards for insights into the utilization, collaboration, and customer experience metrics of remote work tool suites.

Suata turned the stage over to FINRA's Senior Data Analyst Logan Kalati, who demonstrated some of the Grafana dashboards they had built. Logan demonstrated how to view summary statistics for tool usage, delve into usage and adoption metrics, and break down engagement by business departments. These dashboards were aggregated elegantly into an executive view to help leadership make data-driven decisions about their remote work strategies and investments.

Back on stage, Suata continued to describe their second use case: achieving observability for EKS workloads. She explained the value of aggregating metrics in the same place to accelerate troubleshooting and diagnosis. However, they encountered challenges in obtaining visibility for EKS clusters and workloads, hindering their ability to monitor, adjust, and optimize performance.

Specific issues mentioned included tracking stalled tasks, data skewing, unexpected performance, cluster size analysis, configuration tuning, load testing bottleneck detection, and excessive manual supervision in production.

为了获取所需的可观察性，FINRA再次依赖于Managed Prometheus和Managed Grafana。它们使用Managed Prometheus收集EKS指标，如集群健康状况、节点统计数据和工作负载指标。这些在Grafana中进行了可视化，以便创建提供系统级和工作负载级可观察性的仪表板。这提升了可见性，使它们能够迅速发现和解决问题，减少了对人工作业的监督，并提高了效率。

在最后的演示中，Logan展示了一系列专注于EKS可观察性的Grafana仪表板，包括总体集群状况、按节点资源使用情况以及按工作负载类型和作业的指标。这是一个引人入胜的展示，展示了FINRA如何利用这些工具来监控其容器化工作负载的状况。

总的来说，Suata总结了对FINRA如何使用亚马逊云科技服务，如S3、Glue、Athena、Managed Prometheus和Managed Grafana来释放其数据价值的理解。对于业务洞察和系统可观察性，整合和可视化数据已经被证明是实现数据驱动决策和工作流程优化的关键。案例研究和演示清楚地表明了数据民主化和可观察性的潜力。

Helen随后回到了舞台，结束了会议。她重申了FINRA如何通过使用亚马逊云科技实施这些做法来提高其组织的可见性和用户体验。与会场上的概念概述、新服务功能、客户演示和现场演示相结合，本次会议全面展示了亚马逊云科技云服务如何帮助公司在其通过数据民主化和可观察性实现数据驱动决策的旅程中发挥重要作用。

下面是一些演讲现场的精彩瞬间：

领导者向观众提问，了解他们在做重大决策时是否曾经希望拥有更多的数据。

亚马逊云科技致力于帮助企业构建可扩展的数据平台，以应对业务发展的需求，避免数据瓶颈。

通过亚马逊托管的Grafana，用户可以方便地对各种亚马逊云科技服务存储的数据进行集中的数据查询、报告和仪表板操作。

亚马逊托管Grafana实现了数据的民主化，消除了障碍并支持数据治理。

亚马逊云科技不断围绕安全和合规性进行创新，例如推出了适用于亚马逊托管Prometheus和托管Grafana等服务的O&S合规性。

当FINRA在EKS上运行工作负载时，性能指标和仪表板帮助他们更快速地识别和解决问题。

屏幕截图展示了亚马逊云科技领导者所描述的这一效果。

总结

该视频探讨了FINRA如何通过采用亚马逊的托管服务来推动数据的透明度和可观察性。透明化意味着在整个机构内部让数据变得更容易获取。首个应用实例是将来自多种协同工具的指标集成到中心数据库中。这些数据在Amazon Managed Grafana中进行了可视化，以便创建有关使用情况、客户体验和管理指标的面板。这一统一的视角为我们提供了提高生产效率和增强客户满意度的新见解。

另一个应用实例关注的是对运行在Amazon EKS上的容器式工作负载的可观察性。操作指标通过Prometheus代理被收集到Amazon Managed Prometheus中。这些指标随后在Grafana中进行可视化，用于监测集群、节点、任务和工作负载的性能。通过这些仪表板，我们能够迅速发现并解决潜在问题。总之，FINRA借助亚马逊的托管服务优化了数据的易获取性，同时为基础设施和应用程序带来了关键的可视性。

演讲原文

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。