ANT221 | 使用 serverless 器配置和扩展 OpenSearch 资源

ANT221 | 使用 serverless 器配置和扩展 OpenSearch 资源

关键字: [Amazon Web Services re:Invent 2023, OpenSearch, Opensearch, Serverless, Collections, Scaling, Architecture]

本文字数: 2800, 阅读完需: 14 分钟

视频

导读

在本专题讲座中，您将了解 Amazon OpenSearch 服务的一个新的 serverless 选项，该选项可自动配置和扩展底层资源，以便为最苛刻和不可预测的工作负载提供快速的数据接收和查询响应。参加本专题讲座，了解如何开始、将从serverless 中受益的工作负载类型等。

演讲精华

以下是小编为您整理的本次演讲的精华，共2500字，阅读时间大约是12分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

会议室内气氛紧张而充满期待，与会者们正在寻找自己的座位，准备参加下午关于OpenSearch Serverless的主题会议。卡尔·梅德尔斯，这位受人尊敬的OpenSearch产品管理总监，走上了讲台。在开场白中，卡尔对与会者的到来表示欢迎，并对他们在繁忙的亚马逊云技术峰会日程中抽出时间来参加这个不久前才增加的会议表示敬意。

卡尔介绍了自己的背景，解释了他负责监督开源OpenSearch项目、Amazon OpenSearch服务和Amazon CloudSearch的工作。他分享了有机会与大家共同探讨OpenSearch并向大家展示OpenSearch Serverless的激动之情。卡尔还邀请了另外两位演讲者——Pavani，OpenSearch服务的首席产品经理，他将进行现场演示，以及Ryan Skousen，Genpact的首席技术官，他将分享自己的使用新服务的经验。

卡尔立即开始介绍OpenSearch的背景，以便让那些不熟悉的人有所了解。他把OpenSearch描述成一个多功能分布式搜索引擎，可应用于从全文文档搜索到实时日志分析和安全分析等各个领域。其分布式功能允许它处理大量流数据，使其非常适合可视化、聚合和其他分析。

卡尔分享说，许多亚马逊云科技的顾客都是这样使用OpenSearch和Elasticsearch的。事实上，亚马逊云科技在2021年推出了Amazon OpenSearch服务，以提供完全管理的OpenSearch集群。这减轻了客户的运营负担，同时使他们能够调整集群以满足他们特定的负载。

卡尔解释说，OpenSearch代码库包含了亚马逊云科技已经作为Elasticsearch插件和扩展构建的功能。这包括异常检测、安全功能、SQL支持等等。据卡尔说，迄今为止，这一举措非常成功，下载量超过1亿次，且采用速度非常快。由于OpenSearch的开源性质，其他主要的云服务提供商也在提供OpenSearch。

在过渡到托管服务的过程中，卡尔详细解释了Amazon OpenSearch Service如何为客户提供根据实例类型和存储进行定制的OpenSearch集群。这使得能够灵活地模拟现有企业部署或自管理服务。然而，随着工作负载的变化，管理集群仍需要适当调整大小、监控和扩展的大量专业知识。

这是OpenSearch Serverless（目前仍处于预览阶段）的目标所在，卡尔指出。其目标是通过对根据需求自动调整集群规模的能力来简化管理并降低成本。他概述了实现此功能的两项关键概念：

1. 收集（Collections）——作为访问、安全等方面专用端点和策略的逻辑数据集组，它取代了无服务器中的集群概念。

2. OpenSearch计算单位（OCUs）——用于索引和搜索的基本计算块，根据工作负载动态分配。客户只需支付消耗的OCU费用。

卡尔进一步描述了Serverless如何将索引和搜索操作分为独立的扩展组。索引将写入S3以保持持久性，而搜索节点将根据需要缓存热门数据并从S3直接读取较旧的数据。这种架构允许独立精确地扩展存储和计算。

安全性现在集中化且基于策略，使跨收集的自动化设置变得更加容易。目前支持SAML，后续还将提供更多身份选项。

卡尔为帕瓦尼设置了演示环境，她上台现场展示了OpenSearch Serverless的功能。帕瓦尼迅速登上舞台并在亚马逊云科技控制台中创建了一个名为“FleetSearch”的新收集。她通过简单的点击配置加密、网络访问和访问策略。卡尔和帕瓦尼强调了如何通过中央定义然后由新收集继承的策略来简化设置新收集的安全性。

在不到5分钟的时间内创建了收集后，帕瓦尼转向了一个展示如何使用简单的Python数据生成器向OpenSearch输入样本舰队数据的演示。她修改了生成器代码以指向新的Serverless端点，只需更改主机和区域。OpenSearch API与新收集完美协同工作。

帕万尼在下载并加载OpenSearch Dashboards时，创建了一个预构建的仪表板来对车队数据进行可视化分析，包括车辆数量、目的地和天气条件等信息。然而，初始数据加载出现了问题。经过诊断，发现是由于她的访问策略设置错误导致的，仅授予了索引权限而非搜索权限。修正后，仪表板开始正常运行，充分展示了无服务器技术的优势。

卡尔和帕万尼强调，使用无服务器技术可以便捷快速地启动和运行项目。开发者的体验与托管集群相当接近，这是他们的主要目标。帕万尼还提到，大量的文档和工作坊可以帮助新用户更好地入门。

接下来，来自Genpact的瑞安·斯库森（Ryan Skousen）分享了他们使用OpenSearch Serverless为反洗钱产品“风险画布”的经验。他们原本在亚马逊云科技上的托管集群遇到了问题，因为夜间大量进行批量处理，而白天使用较少，导致资源浪费严重。瑞安被OpenSearch处理复杂结构化和非结构化数据的能力所吸引，但他也注意到成本和扩展限制逐渐增加。他认为无服务器技术是优化成本的最佳途径，可以通过自动缩放批量和查询工作负载来实现独立管理。

瑞安详细描述了他的无服务器测试过程，如何轻松地启动并运行。他将现有的索引任务轻松迁移到新的集合中，只需更改几行代码。核心功能如搜索、索引和文档摄取都开箱即用，运行顺畅。虽然他也注意到了一些不足之处，如仍在开发的存储脚本，但迭代速度很快。

即使没有优化的自动缩放，瑞安估计通过更高效地在托管集群和无服务器之间分离工作负载，可以降低40%的成本。随着风险画布的扩展，他对无服务器技术可能带来的巨大成本节省和灵活性感到兴奋。

在会议结束之际，卡尔表示，无服务器当前仍处于预览版阶段，它具备核心功能，但更高层次的其他OpenSearch特性将在未来推出。其目标是为用户提供一个简单且无需管理的服务，精准满足他们的需求。尽管无服务器将成为许多工作负载的理想选择，但亚马逊云科技仍将持续投资于托管集群，以满足各种客户的需求。

卡尔对演讲者和与会者的热情表示感谢，并鼓励每个人都尝试使用OpenSearch无服务器。观众们对新服务充满了热情，他们被今天展示的内容激发了灵感——这是一种无需承担管理集群的开销就能享受到OpenSearch带来的好处的方法。从深思熟虑的问题和讨论中可以看出，对许多与会者来说，这是re:Invent的一个后期亮点，非常值得投入时间。

下面是一些演讲现场的精彩瞬间：

领导者们讨论了监管机构如何制定严格的规定，使得银行在调查过程中必须遵守这些规定，从而限制了对创新机器学习技术的应用。

在re:Invent期间，亚马逊云科技展示了如何通过使用OpenSearch Serverless来实现高效的数据处理，从而将那些变化不多的数据与交易数据分开。

Cerberus提供了一种高度可扩展且低成本的高效搜索解决方案，它能够通过动态调整集群规模来满足需求。

亚马逊云科技的领导者们讨论了如何为客户提供优质的管理和无服务器选项，以满足各种不同的应用场景。

总结

这段演讲主要探讨了亚马逊推出的OpenSearch服务无服务器部署选项。首先，演讲者简要介绍了OpenSearch的背景，这是一个开源的分布式搜索引擎，适用于搜索、分析和日志分析。2021年，亚马逊在Elasticsearch的许可协议发生变化后推出了OpenSearch。由于它的易用性以及超过1亿次的下载量，OpenSearch得到了广泛的采用。

接下来，演讲者阐述了无服务器的主要优势：使得OpenSearch更加易于使用且更具成本效益。这些优势包括：

• 使用基于工作负载自动扩展的OpenSearch计算单元（OCU），而非预配置的实例，从而仅支付所需费用。
• 将索引和搜索分开，以便能够独立扩展。
• 数据存储在S3中，以提高持久性和节省成本。
• 包含加密和基于角色的访问控制等安全功能。

演示了一个简单的流程来创建无服务器域。该架构显示，OCU负责单独处理索引和搜索，并在集合之间协调。数据从OCU流到S3进行存储。

一位OpenSearch用户分享了无服务器如何帮助他们解决AML问题的经验，例如允许小型稳定状态集群以及批量工作负载的自动扩展。他们发现设置过程非常轻松。

最后，演讲者指出，无服务器目前仍处于预览阶段，专注于核心功能和自动扩展。随着时间的推移，还将添加更多功能。目标是提供一个快速响应的服务，只需在使用时付费。同时，仍将支持托管集群，以满足可自定义的使用场景。

演讲原文

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。