API206 | Amazon EventBridge Pipes 简化了事件驱动服务的连接

API206 | Amazon EventBridge Pipes 简化了事件驱动服务的连接

关键字: [Amazon Web Services re:Invent 2023, Amazon EventBridge Pipes, Event Driven Services, Event Producers And Consumers, Point To Point Integrations, Filtering And Enrichment, Managed Polling Infrastructure]

本文字数: 2300, 阅读完需: 12 分钟

视频

导读

事件驱动架构在现代应用程序中很常见，它使用解耦组件来帮助应用程序扩展并使其易于维护。为了构建解耦的、事件驱动的应用程序，开发人员利用支持发布或消费事件的专门服务，如Amazon Kinesis 、Amazon Simple Queue Service 、Amazon DynamoDB 、Amazon API Gateway 、Amazon Lambda 和 Amazon Elastic Container Service。跨亚马逊云科技连接不同的服务需要开发人员了解每个服务的 API 和细微差别，同时还要编写、维护和扩展集成代码来连接这些服务。在本专题讲座中，您将了解如何利用 EventBridge 管道来减少将多个服务集成在一起以实现事件驱动架构的时间、成本和复杂性。

演讲精华

以下是小编为您整理的本次演讲的精华，共2000字，阅读时间大约是10分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

亚马逊云科技在2022年的峰会期间，发布了Amazon EventBridge管道这一新功能。负责Amazon EventBridge的主要产品经理尼克·斯密特（Nick Smit）和总经理杰米·杜尔（Jamie Dool）在会议上详细阐述了这项功能的运作原理及其优势。他们表示，通过使用EventBridge管道，开发者可以在事件产生者和消费者之间创建高效的集成，无需编写任何代码。

首先，尼克·斯密特详细介绍了管道的目标——解决整合亚马逊云科技200多个服务时所需的复杂胶水代码问题。他指出，尽管亚马逊云科技提供了可组装成完整解决方案的服务，但要将这些服务连接起来，仍需处理诸如身份验证、API、错误处理、排序、流量控制等不同服务之间的差异。他强调，编写和维护这种胶水代码既耗时又降低开发者的效率，同时增加了所有权成本。

接着，杰米·杜尔解释道，管道将传统集成模式扩展到了亚马逊云科技云，就像50年前的Unix管道扩展shell命令一样。虽然EventBridge事件总线处理多对多集成，但管道简化了一对一的服务间集成。他还强调，管道与Lambda事件源共享相同的管理轮询基础设施，这个经过验证的系统已经能够处理每秒超过100万笔交易，这意味着管道能够迅速应对巨大工作负载。

管道具有强大的功能，如过滤以仅消费相关事件、批量处理以提高效率、保持事件顺序、高并发以随着增长而扩展以及处理业务逻辑。这些功能支持亚马逊云科技200多个服务中的各种使用场景。

最后，杰米·杜尔分享了几个使用管道的客户案例：一个使用SQS作为队列和使用Step Functions进行工作流协调的客户，可以使用管道来集成这两个服务，无需编写任何胶水代码；一个使用Kinesis数据流处理点击流数据的客户，可以使用管道来过滤并将该数据流分割成基于其网络应用程序的不同内部的领域特定的数据流。

一位客户拥有一个内部Kafka集群，可以通过管道将Kafka与SageMaker集成，从而在添加Lambda业务逻辑的同时训练ML模型。当更多的内部团队希望对DynamoDB表中的变化做出响应时，管道可以通过将更改扩散到EventBridge以避免阈值限制，从而帮助避免限制。演示展示了这些功能如何实现。首先，只需点击几次，就可以将SQS队列集成到Step Function管道中。然后，一个更复杂的Kinesis到SQS管道会过滤票务创建事件，通过调用Zendesk API丰富它们，并将完整的票务详情传递给SQS。在后台，管道自动处理每个资源所需的所有权限和IAM角色。监控提供了关于吞吐量、调用、失败和其他关键指标的见解。

在2023年，管道将迎来许多新功能，如更多来源、对亚马逊云科技超过200个API的任何服务的服务集成、跨帐户传递、重放/存档以及IDE集成。总之，管道通过利用已经处理每秒超过1000万交易的经验证的管理轮询基础设施，简化了无需编写复杂胶水代码即可集成亚马逊云科技超过200服务的过程。凭借现有的100多种预构建组合以及越来越多的组合，管道可以加速构建事件驱动的应用程序。

视频展示了如何通过消除编写集成亚马逊云科技服务和第三方应用程序的复杂胶水代码的需求，EventBridge管道如何帮助开发者更高效地工作。通过提供诸如SQS、Kinesis和DynamoDB等流行源和SNS、Step Functions和S3等目标之间的预构建集成，管道使开发者能够专注于编写有区别的业务逻辑，而不是与每个服务的复杂性作斗争。

管道的目标是将Unix管道的简单性和可组合性带到基于云的集成中。正如50年前Unix管道使得轻松链接小型专用程序一样，EventBridge管道也使得轻松连接亚马逊云科技上超过200个专为特定目的设计的服务成为可能，而无需编写代码。

与Lambda事件源映射共享的管理轮询基础设施提供了可扩展性。管道可以处理每秒数百万的交易，这意味着开发人员不必担心在胶水代码中构建自己的扩缩放和弹性机制。

亚马逊云科技的Pipes功能提供了一系列有用特性，如过滤、丰富、批量处理、排序和死信队列等，轻松应对常见的集成挑战。在背后，Pipes预构建了IAM角色和监控仪表板，节省时间和精力。虽然EventBridge事件总线适用于许多一对多场景，涉及亚马逊的200多个服务，但Pipes更专注于一对一的使用场景，如在不同服务之间同步数据和将内部数据暴露给外部消费者。通过支持第三方API的API目的地，Pipes打开了新的可能性。通过消除通用的胶水代码，Pipes让开发者能够更快地创造价值。丰富的路线图展示了亚马逊云科技对通过Pipes简化云计算集成的承诺。任何利用亚马逊云科技进行基于事件的架构的组织都可以从这一新功能中受益。

下面是一些演讲现场的精彩瞬间：

管道作为一种集成方式，简化了事件在生产者和消费者之间的传输过程。

通过亚马逊云技术的EventBridge，用户能够轻松地连接各种服务和应用，实现事件的路由，而不需要处理身份验证、权限、API兼容性或吞吐量控制等问题。

作为一家完全托管的服务提供商，亚马逊云技术帮助用户轻松构建、测试和部署大规模的集成解决方案，而无需关心基础设施的管理。

例如，DynamoDB流到SQS这样的集成可能会降低开发人员的工作效率，增加出错率，使应用程序变得更加复杂，同时还会增加运营成本和总体拥有成本。

为了解决这个问题，亚马逊云技术推出了EventBridge，这是一个无限可扩展的无服务器平台，可以在生产者和消费者之间轻松地进行事件集成。

通过使用Lambda函数，用户可以将业务逻辑应用于事件，并将其发送到目标API。

这使得构建大规模的事件驱动应用程序成为了可能。

总结

亚马逊EventBridge管道为集成事件驱动型服务提供了一种简便方法，而无需编写代码。EventBridge产品负责人Nick Smit和Jamie Dool详细介绍了该管道的功能。他们解释道，尽管亚马逊云科技的服务非常强大，但将它们连接起来需要复杂的集成代码。管道解决了这种无差别的工作负担。目前，管道支持从6个源消费事件，通过4个亚马逊云科技服务丰富事件，并将事件传递到14个目标。使用案例包括过滤事件流、调用API丰富事件、分割流等。管道自动处理身份验证、权限、错误、扩展和其他集成挑战。管理的底层基础设施基于经过验证的技术构建，该技术支持超过100万个Lambda事件源映射。未来计划包括更多的源、目标和功能，如服务集成。管道使EventBridge成为一个统一的事件驱动平台，使开发人员可以专注于核心业务逻辑而非集成代码。

演讲原文

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。