re:Invent 2023 | 降低可观测性成本（由 Coralogix 赞助）

关键字: [Amazon Web Services re:Invent 2023, CoLogics, Cost Optimization, Indexing Data, Reducing Data Volume, Querying Archived Data, Avoiding Vendor Lock-In]

本文字数: 1200, 阅读完需: 6 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1V64y1j7m5

导读

十年前，可观测性几乎不存在。现在，可观测性成本可能相当于运营预算的 10%-30%。低效的可观测性已成为扩展 DevOps 战略的障碍。在本讲座中，我们将探讨可观测性成本过高的原因，以及造成高成本的驱动因素。同时了解成本优化的一些反模式，以及团队可以采用哪些架构和技术方法来降低可观测性成本。本讲座由亚马逊云科技合作伙伴 Coralogix 为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华，共900字，阅读时间大约是4分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

克里斯，一位具有10年Java应用程序支持经验的Java工程师和SRE，最近加入了Coralogix，一个以成本优化能力著称的SaaS可观察性平台。他的演讲最初名为“可观察性太贵了”，源于他在一家主要可观察性提供商Datadog的开票中发现，这占据了其公司10万美元云预算的30%。因此，他决定将演讲标题调整为适用于亚马逊云科技re:Invent的观众。克里斯认为，相对于价值，可观察性的成本往往过高，甚至有些提供商认为30%的云支出用于可观察性是正常的。

克里斯将成本上升归咎于几个行业趋势。首先是微服务的普及，相比于单体架构，它引入了许多新的故障模式。随着微服务的发展，更多的网络错误和问题会出现。例如，在某家公司，一个简单的每天进行100次请求的应用程序被分割成了15个不必要的微服务，从而成倍增加了复杂性。

其次是云使用量的增加，这使得在亚马逊云科技上更容易快速供应服务器。以前，公司必须请求IT来配置新服务器，但现在工程师只需点击按钮就可以立即启动服务器。更多的服务器意味着更多的数据源和复杂性。

最后，混沌工程和有意图地引入失败导致了更多的潜在故障场景，这些都需要监控。这些新的故障模式与其他来自微服务和云的故障可能性相互作用，加剧了复杂性。

为了说明当前可观察性数据使用效率的低效，克里斯分享了一些令人震惊的数据统计：99%的被索引的可观察性数据从未被搜索过；95%的警报是由同一5个错误触发的；99.9%的查询日志在7天内就被丢弃，但保留期限通常是2-4周，这表明过度供应；以及30%的数据可能消失且不会造成任何明显的影响，但这部分无用的数据仍然会产生成本。

克里斯认为这些事实揭示了对优化架构和数据流以降低成本和复杂性潜力的认识。他不仅提供技术最佳实践建议，还就评估软件即服务供应商给出意见。

在技术层面，克里斯的首项建议是利用查询日志或其他数据访问模式来记录使用情况统计，从而揭示哪些数据被最频繁使用以及如何使用。例如，Prometheus能追踪查询的使用次数。亚马逊云科技的服务，如CloudWatch Logs，也可进行此类分析。接下来是要定义清晰的使用场景，可能是针对数据的3-5个核心类别。这有助于防止特殊情况下的辩解，并使优化工作集中于更具代表性的模式。典型的使用场景可能包括高频监控、临时调试或长期合规数据处理。

通过统计数据和使用场景，可以避免在不必要的情况下基于时间移动数据层间的数据。例如，将数据从SSD移到磁性存储后等待7天并非是基于实际需求的。更好的方法是根据预期的用途将数据直接路由到经济高效的存储方案。合规数据可能会被直接发送到像Amazon S3这样的低成本对象存储，而关键监控数据则仍保留在SSD上。通常，克里斯建议在基于实际情况的情况下谨慎地为数据创建索引，因为这会耗费大量成本。有一些创新的方法，如同Amazon Athena一样，可以对未索引数据进行高效查询。因此，只有在根据实际需求确实需要的时候才应考虑创建索引。

在需求方面，可以剔除未使用的数据，如调试日志。在其他情况下，可以将包含指标的日志转换成时序数据，而非保存完整日志。对于这类情况，时序数据库（如Prometheus）表现出色。 在追踪方面，可使用尾采样等技术去除正常请求中大量不必要的追踪数据，同时充分捕捉错误和异常。

在评估软件即服务可观察性平台时，克里斯强调要通过抽象供应商来保持灵活性，以便更换供应商。开源选择，如OpenTelemetry，便提供了这种灵活性。此外，购买者应向潜在供应商询问除文档外是否还提供了其他成本优化工具。若供应商投入开发这些工具，说明对成本效益的重视是他们的一大优先。

克里斯强调了Coralogix在可观察性领域的实力。该公司的平台提供了基于使用场景（如监控、搜索和合规）的透明定价模式。每个层次都有不同的内置折扣。例如，发送到合规存档的数据有85-88%的折扣，因为它们利用了便宜的S3存储。

Coralogix还允许直接在归档数据上查询，而无需首先重新索引。这可以在维护数据访问的同时避免不必要的处理成本。他们的平台还利用了开源技术，如OpenTelemetry，以防止锁定。

总的来说，克里斯重申了谨慎索引的重要性，只需根据使用场景按需进行。他还建议购买者向供应商询问关于他们的成本优化工具，而不仅仅是查看文档。通过遵循这些技术和采购最佳实践，组织可以在亚马逊云科技上以更节省成本的方式获得可观察性洞察。

下面是一些演讲现场的精彩瞬间：

在过去的十年里，克里斯的职业生涯经历了从Java工程师到支持Java应用的SRE的转变。

尽管领导者建议放弃将数据根据其年龄从昂贵的存储移至更便宜的存储的做法，但这种做法错误地假设了数据价值会随着时间的推移而减弱，而非基于其实际使用情况。

演讲者强调了对索引的审慎处理非常重要，因为索引既昂贵又具有影响。

审慎地索引数据有助于节省成本并简化操作。

领导者们还谈到了处理高基数指标的挑战，并提供了应对这一问题的策略。

他们还提到了使用尾采样来减少追踪数据量的做法，从而保留了关于错误和延迟变化的关键见解。

领导者们鼓励观众们通过扫描二维码在社交媒体上提出问题并参与互动。

总结

本次演讲主要探讨了如何实施降低可观察性成本的策略。演讲者首先强调了微服务、云服务器使用增加以及混沌工程的普及如何导致复杂性及数据量的增长，进而推高了成本。接着，他列举了一些有效的方法：

首先，通过分析查询日志来掌握数据的使用情况，这有助于您在保留或删除数据方面做出明智的决策。演讲者指出，大部分索引数据实际上并未被检索过，且绝大多数查询主要集中在一小部分数据上——因此，对所有数据进行索引其实是毫无意义的浪费。

其次，为您的数据设定明确的使用场景，如监控和合规需求。这样可以在优化数据时使用更灵活的方式。

第三，避免基于时间对数据进行分层，而是根据实际使用和重要性将数据分配到不同的存储位置。例如，常用的监控数据会被存储在固态硬盘（SSD）中，而不常使用的调试日志则直接存储在云存储（如亚马逊的S3）中。

第四，在创建索引时要非常谨慎，因为这可能会带来极高的成本。同时，考虑舍弃那些不必要的数据流，比如调试日志。

在处理追踪数据时，可以通过抽样方法来减少数据量。演讲者强调，如果服务运行状况通常良好，那么可能并不需要全部的追踪数据。

在与供应商合作时，使用开源代理（如OpenTelemetry）以避免锁定问题。并且要求他们提供可以降低成本的工具——而不仅仅只是文档。这表明他们致力于帮助客户降低成本，而不是追求最大化的收入。

总的来说，智慧地收集、存储和索引数据能够显著降低成本，同时保证可观察性。采用开放标准以及与供应商就优化工具进行讨论也是至关重要的。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134817732

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。