Amazon MemoryDB for Redis 的新增功能

关键字: [Amazon Web Services re:Invent 2023, MemoryDB, Memorydb Vector Search, Memorydb Performance, Vector Embeddings, Retrieval Augmented Generation, National Language Models]

本文字数: 1600, 阅读完需: 8 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1L64y157dz

导读

了解 Amazon MemoryDB for Redis 的新功能，这是一款超快、耐用、兼容 Redis 的数据库，专为要求低延迟和高可用性的微服务架构现代应用而构建。在本讲座中，您将了解到最新的创新技术，这些技术可帮助您最大限度地提高 MemoryDB 在各种使用案例中的价值，并探索如何将 MemoryDB 用作生成式 AI 应用程序的长期内存。

演讲精华

以下是小编为您整理的本次演讲的精华，共1300字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

演讲由乔·特里恩开始，他向一些前一天的听众致敬，当时他们观看了MemoryDB数据库主题演讲。乔注意到，尽管房间里很少有人在生产中实际使用MemoryDB，但仍有不少人表示他们在一定程度上使用Redis来支持应用程序。

乔解释说，Redis是一个流行的开源内存键值存储系统，支持复杂的数据类型，如用于排名查询的排序集、用于嵌套数据的JSON文档以及用于对象存储的哈希映射。Redis还提供了可以直接在这些数据结构上操作的内置命令，如用于排序集检索的ZRANGE，从而实现高效的服务器端操作，而无需在客户端和服务器之间来回往返。由于其丰富的原生数据类型支持以及在内存中存储整个数据集所实现的原始性能，Redis成为了构建高性能的AI和ML驱动应用程序的有吸引力选择。

在这些现代应用程序中，数据通常被编码成数学向量表示，有效地捕捉了机器学习模型训练的实体的重要特征。将应用程序数据存储在这种密集的编码向量格式中允许非常快速的相似性搜索和检索。然而，在进行预测的速度与这些预测的准确性或相关性之间通常存在权衡。MemoryDB新宣布的向量搜索功能通过提供高达每秒33,000次搜索的性能，同时仍然保持99%或更高的召回率，展示了其卓越的查询性能。

随后，乔介绍了MemoryDB工程团队的负责人Jan Guider，他上台与他一起介绍新功能。他们一起兴奋地深入了解了前一天宣布的新向量搜索预览功能。

乔深入探讨了人工智能（AI）和机器学习（ML）领域中向量的运作原理及应用。经过对各种数据特征的训练，模型学会了理解这些特征与其预测标签之间的关系。这些特征可以通过数学方法转换为数字数组，即向量，其中的每个元素代表了模型所识别的不同特征。将数据编码成这些向量形式后，应用程序可以高效地进行相似性搜索和检索。同时，将向量与其原始数据一同存储可简化应用程序结构、减少系统间的数据移动，并为AI/ML应用带来更出色的性能。这样一来，便不需要额外引入和管理专门的向量数据库系统。考虑各种数据库技术的特点，亚马逊云计算服务提供了多种具备向量支持的数据库选项，如OpenSearch和Aurora，使开发者能够根据具体需求选择合适的工具。MemoryDB旨在在这两个世界中取得最佳平衡——在保持高准确性的同时，提供高达每秒33,000次的向量查询性能。

乔通过实例说明了查询速度与准确性之间的权衡。例如，当你的汽车燃油警告灯亮起时，找到附近的加油站比找到最佳的加油站更为重要；而在信用卡欺诈检测应用中，准确性至关重要，以免错误地拒绝合法交易并引起客户不满。MemoryDB致力于在这个世界中也提供最佳平衡——即使在面临最严苛要求的应用场景下，也能达到99%以上的准确性并同时保持高性能。

最后，乔简要介绍了MemoryDB的基本情况。它采用了集群式架构，通过跨分片分配数据来实现容量和吞吐量的扩展。写入操作会被路由到每个分片的主节点，然后再将其提交到多区域分布式事务日志。这种基于日志的持久性层是MemoryDB能够在低延迟内实现跨区域ACID兼容写入和创新之处。它能支持高达每秒100,000次的工作负载写入以及100 MB每秒的持续写入吞吐量。

在内存中直接提供服务的MemoryDB，由于其高速的性能和丰富的数据类型，受到了许多客户的青睐。这款基于内存的架构不仅提供了卓越的速度，同时还确保了数据的可用性和持久性。客户选择MemoryDB的主要原因在于其对速度和性能的需求，以及对Redis API提供的丰富数据类型的依赖。此外，他们还要求在面临故障或区域停机时具备完全的弹性。在未来的亚马逊云科技re:Invent上，我们将详细介绍MemoryDB的客户使用情况和生产部署。

在会议上，Jan Guider向我们介绍了新的向量搜索预览版的技术细节。他表示，客户对潜在向量支持的兴趣和反馈推动团队迅速整理出了一个初始预览版本，以便用户能够使用。目前，该功能支持两种索引方法、三种相似度度量、Redis的HASH和GEN数据结构以及在进行搜索前的键预过滤。

Jan详细讲解了创建向量索引并执行搜索的基本Redis命令，他指出这些命令与SQL语法有相似之处。索引定义指定Redis键类型、向量字段和维度。搜索指令包括要返回的结果数量、输入向量和可选的预过滤器以缩小搜索范围。

他还阐述了所支持的相似度度量方式。L2欧几里得距离测量两个向量之间的线性几何距离，代表了接近或靠近的程度。余弦相似性衡量向量之间的角度，代表了它们的方向。点积结合了距离和方向的两个方面。L2欧几里得距离通常用于自然相似性排名，而余弦相似性在语义相似性（如文本文档）方面表现优秀。

此外，还涵盖了两种索引方法。简单的平面索引允许在所有向量上进行搜索，但其性能会随着规模的增加而降低。HNSW索引针对大型向量数据集进行了优化，提供了更快的搜索速度，同时保持了高准确性。

MemoryDB在大约1亿个128维向量的大数据集上达到了最高每秒33,000次查询的性能，准确率保持在95-99%的水平。每当有新的数据被添加或更新时，向量索引能够在毫秒级别完成更新，这使得新数据几乎能够实时地出现在搜索结果中，从而最大限度地减少延迟。得益于其独特的无服务器架构以及将所有数据保存在内存中的设计，MemoryDB能够在大规模场景下实现高性能。实际应用案例包括：RAG（检索增强生成），该技术可以在定制的专业领域数据集基础上强化大型基本模型，例如GPT-3，以提供更为准确且相关的结果，而不需要用户对模型进行微调；对话型AI应用程序通过将聊天回合作为向量进行存储，以便维持对话背景和历史记录；欺诈检测系统通过对交易向量与已知欺诈模式进行比对，从而发现可疑行为。如今，MemoryDB的向量搜索预览已在亚马逊云科技的5个区域免费提供。

下面是一些演讲现场的精彩瞬间：

领导者向举手提问的人示意，询问他们是否注意到了关于MemoryDB向量搜索的公告。

RAG技术的应用使得在不构建自定义机器学习模型的前提下丰富基础模型成为可能。

作为AI/ML应用的加速器，MemoryDB具有卓越的向量搜索和索引功能。

亚马逊云科技发布了针对MemoryDB的向量支持预览版，旨在让客户尽早享受到实用的功能。

从L2搜索切换至余弦搜索展示了搜索选项的多样性。

演示架构图揭示了亚马逊如何通过利用现有服务，如Amazon Bedrock、Python嵌入、MemoryDB和L-Chain框架等，来构建对话式AI系统。

领导者邀请观众通过问卷调查提供反馈，以便在未来的展示中做出改进。

总结

亚马逊云科技近日为其内存数据库MemoryDB预览版引入了向量搜索功能。作为一款高性能的人工智能/机器学习应用数据库，MemoryDB能够在大数据集中实时执行向量相似搜索，提供极快的性能。其以内存为中心的架构将整个数据集和索引存储在RAM中，实现微秒级的读取延迟和单位数的毫秒级写入延迟。数据变化时，向量查询可在数毫秒内完成，而索引更新则几乎实时流式传输。MemoryDB可扩展至支持每秒超过100万次写入，同时具备多AZ持久性。

在MemoryDB中进行向量搜索，可在包含1亿个向量的数据集中实现每秒33000次的搜索，召回率达99%。预览版支持两种索引类型和三种相似度度量方法来查找最近邻居。MemoryDB的速度非常适合大规模检索增强生成，其中向量搜索可以快速找到相关示例以改进基础模型的回答。

该公告通过客户使用案例进行了强调，如实时欺诈检测和自然对话机器人。由于MemoryDB的速度、规模和准确性，它非常适合需要高精度向量搜索的低延迟敏感应用程序。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134833484

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。