re:Invent 2023 | 利用 Amazon Bedrock 加速实验设计（由 LaunchDarkly 赞助）

关键字: [Amazon Web Services re:Invent 2023, LaunchDarkly, Experimentation, Generative Ai, Parameter Space, Launchdarkly, Amazon Bedrock]

本文字数: 1700, 阅读完需: 8 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1wC4y1w7TW

导读

大多数公司都认识到实验的价值。但是采用实验也面临着一些挑战，例如确定哪些实验可能有价值、弄清楚如何配置实验以获得有用的结果、成功实施实验以及解释实验结果。生成式 AI 在处理这些问题方面具有得天独厚的优势。LaunchDarkly 利用 Amazon Bedrock，只需几行代码就能解决过去需要数据科学家和实验专家分心处理的产品问题，进一步释放了衡量功能发布对业务影响的能力。在本讲座中，您将了解到 LaunchDarkly 使用 Amazon Bedrock 开发生成式 AI 产品的历程，以及生成式 AI 如何加速实验文化。本讲座由亚马逊云科技合作伙伴 LaunchDarkly 为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华，共1400字，阅读时间大约是7分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

罗伯特·尼尔（Robert Neil）是LaunchDarkly公司产品交付团队的领导者，他在台上探讨了一个有趣且较少涉及的话题——生成性人工智能（Generative AI）。作为负责开发和推广决策科学和实验产品的团队的负责人，罗伯特对新兴技术如何产生重大影响有着独特的见解。

他首先试探观众对此的了解程度，询问有多少人听说过生成性人工智能。结果寥寥无几，大约占在场数百人的5%，举手表示，这证实了罗伯特关于这个概念对许多人仍较模糊的怀疑。生成性人工智能指的是一种基于训练数据生成新内容（从文本到图像到代码）的AI系统。尽管认识有限，但罗伯特强调了生成性人工智能在实验领域的巨大潜力。

在介绍背景之前，罗伯特简要概述了LaunchDarkly公司的基本概况。该公司拥有超过5000名客户，涵盖了几乎所有行业领域。这意味着与为单个公司构建内部工具相比，LaunchDarkly需要满足来自不同领域、不同指标、用户群和产品需求的公司的测试和实验需求。

例如，LaunchDarkly的客户包括科技公司如Atlassian、TripAdvisor和IBM，金融机构如SoFi、LendingClub和CreditKarma，以及零售商如Ryanair、Sainsbury's和Wayfair。他们涉及的行业包括软件、金融、交通、医疗、电子商务和媒体等。

例如，TripAdvisor这个客户可以通过使用LaunchDarkly来测试不同的酒店页面布局和个性化推荐，以提高预订量。SoFi这样的金融客户可能会尝试不同的信用模型阈值，以优化贷款违约情况。而Wayfair这样的零售商可以试用他们的移动应用的不同版本，以实现最大化的购买量。

这种使用场景的丰富多样性正是使得实验如此关键的原因。根据罗伯特的研究，人类直觉在70%到90%的情况下都会出现错误。实验为我们提供了准确评估新特性影响以及做出数据驱动的产品决策所需的一致性。依赖其他方法，如前后分析，是危险的，因为很难将新特性的效果与其他变量隔离开来。

LaunchDarkly的初衷是通过对功能旗实现代码部署与功能发布的解耦，从而简化开发过程。这使得开发者能够在不重新部署代码的情况下精确地控制和推出新功能。作为实验的基础，功能旗允许开发者远程调整变量。

例如，Wayfair可以通过功能旗动态改变向不同用户展示的个性化产品推荐。TripAdvisor也可以利用功能旗对新的酒店页面布局进行标记，并在A/B测试中启用或禁用它们。

罗伯特将其比喻为一个模型的编码过程，然后通过探索功能旗的参数空间来优化这个模型。这种方法比在一个特性的变体上进行单一的投注更加高效。在处理巨大的参数空间时，即使有效的选项可能无穷无尽，随机选择最佳参数配置的概率也非常小。

这就是人工智能的作用所在。生成式人工智能可以通过探索更多的参数空间来预测具有潜力的变化。然而，罗伯特强调，真正将这些整合到产品本身中相较于独立的提示界面能释放出更多的价值。通过更紧密的集成，AI可以利用LaunchDarkly现有的所有数据（如之前的实验、功能详细信息、指标等）来生成针对每个使用场景定制的特定变化。例如，AI可以分析Wayfair之前进行的实验数据，以了解哪些产品推荐变化导致了更多的移动购买。这些数据可以用于未来实验的定制推荐。

罗伯特将这种集成方法与他过去构建内部实验平台的经验进行了比较。在这些情况下，数据科学家作为顾问，指导团队进行适当的实验设计。然而，对于像LaunchDarkly这样的外部产品，他们不能依赖客户拥有专门的数据专家。因此，LaunchDarkly将许多最佳实践直接编码到实验设置流程中。例如，他们要求用户一开始就指定实验类型，因为这会影响最优的设计参数。他们还提示输入假设和主要指标，以防止人们进行寻找统计显著但无意义的关联的“探险”。即使简单的用户体验调整，如将跟踪的指标数量限制在5个以内，也能大幅提高洞察的质量。

这种后台工作为用户带来了无缝的体验，同时智能地优化AI以最大化相关性和质量。LaunchDarkly使得团队能够轻松地探索更多的变革并做出数据驱动的决策，而不增加复杂性。作为亚马逊云科技的长期客户和创新企业，LaunchDarkly得到了亚马逊AI团队的青睐，他们希望合作利用亚马逊的基础设施。尽管LaunchDarkly已经测试了一些其他模型，但结果并不理想。然而，在尝试亚马逊基础设施仅仅一天之后，他们就确认它能够满足他们的需求。在短短几周内，他们已经集成了基础设施并迅速构建了新的实验功能。卓越的性能为他们提供了一个坚实的基础，用于在产品中更广泛地使用AI。例如，他们可以现在利用语义搜索功能，并计划将其应用得更广泛。Robert分享了他关于构建生成性AI产品的框架：首先，从转型的角度思考——如果你今天从零开始用AI建设，产品会是什么样子？其次，考虑AI优先的方法——AI如何增强每个新功能？最后，确定机会将AI应用于现有功能的丰富。像亚马逊基础设施这样的工具促进了想法的快速原型制作和验证。LaunchDarkly还发布了一份关于使用其平台优化生成性AI的指南。你可以通过数千种可能性来运行实验，以找到最有效的模型配置和微调方法。例如，一个电子商务公司可以运行实验来确定是否在自己的产品目录数据上微调亚马逊基础设施会导致更好的产品推荐变体。总之，通过将生成性AI集成到像LaunchDarkly这样的产品中，团队可以高效地产生高质量、定制的变化进行实验。这使探索更多的变化变得轻而易举，让团队能够做出更好的数据驱动决策。虽然今天人们对它的认识仍然有限，只有5%的观众熟悉，但Robert对生成性AI的巨大潜力提出了令人信服的理由。通过正确的做法，它可以帮助任何公司，如Wayfair、TripAdvisor、CreditKarma等，使用强大的实验来优化他们的产品体验。

下面是一些演讲现场的精彩瞬间：

领导者举手询问在观众中有多少人了解生成性人工智能，发现很少有人了解这一领域时感到了惊讶。

领导者强调了进行实验和接受反馈的重要性，即使一个想法最初看起来非常好。

领导者强调了不断改进和优化想法而非在初次遭遇困难时就轻易放弃的重要性。

领导者分享了他以前在公司与数据科学家共同开展实验的宝贵经历。

领导者探讨了在亚马逊云科技等平台中，假设和实验型思维的重要性。

演讲者谈到了在设计实验时提出明确假设的价值，这源于他在心理学、哲学以及复制危机方面的背景知识。

总结

罗伯特·尼尔（Robert Neil）来自LaunchDarkly公司，他探讨了生成性人工智能如何加速实验设计的过程。他表示，大多数团队在尝试改进产品时，通常只提出一个想法并进行简单的变体测试。然而，这种方法仅能覆盖到庞大的参数空间的一小部分。通过引入生成性人工智能，可以提出更多创新性的变体，并在集成到现有的产品工作流程中时充分利用已有的数据。

LaunchDarkly公司正是利用Amazon Bedrock构建了这样一个系统。用户只需输入实验假设，AI便会自动提供指标和建议的标记名称。接着，根据假设和用户数据，系统将生成定制的文字变体，从而在不增加复杂性的情况下高效地探索参数空间。用户无需了解人工智能的工作原理便能获得更多的创意点子。

尼尔强调，关键在于将生成性人工智能无缝地融入产品之中。这样一来，便可以以前所未有的方式改造和优化功能。借助如Bedrock之类的工具，可以实现快速的原型设计和验证。总之，在谨慎考虑并实施集成过程中，生成性人工智能能够显著提高实验的效率。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134818552

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。