探索poolside：软件工程AI模型

探索poolside：软件工程AI模型

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， Poolside， Software Engineering Ai Models， Domain-Specific Foundation Models， Code Execution Feedback， Fine-Tuning On Business Data， On-Premises Model Deployment]

导读

探索poolside的基础模型如何设计以应对现代软件工程的独特挑战。了解如何通过在您组织的代码库、库和开发者交互上微调poolside模型，并将其适应您的特定需求来利用AI。这个闪电演讲还提供了如何在亚马逊云科技上安全部署poolside的指导，确保数据永远不需要离开您的防火墙。您将获得关于poolside模型如何从交互中持续学习的见解——提高生产力和创新，特别是在金融服务、国防和技术等高安全性行业。本演讲由亚马逊云科技合作伙伴poolside为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华。

在2024年亚马逊云科技 re:Invent活动上，Poolside解决方案工程团队的领导人Isaac和Vitor展示了该公司针对软件工程领域的突破性AI模型。他们解释说，Poolside是一个全栈解决方案，旨在通过创建专门为软件工程独特挑战量身定制的领域特定AI模型，从而彻底改革软件开发方式。

Isaac首先将Poolside介绍为专门为软件工程设计的下一代AI，认识到软件是一个需要自己专门智能的独特领域。Poolside的核心是一个全新的基础模型，一个从头开始创建并在代码和开发人员交互上进行微调的大型语言模型。这种方法确保了模型理解企业代码库的上下文和细微差别，使其建议和输出与组织的具体需求高度相关和定制化。

接着，Vitor深入阐述了创建Poolside背后的三个核心信念。首先，他们认为未来属于领域特定模型，因为卓越源于专业化。就像自动驾驶汽车需要专门为该任务设计的模型一样，软件开发也需要一个量身定制的模型来应对其独特的挑战。其次，客户对现有的通用模型表示失望，这些模型在为遗留代码库或全新项目提供相关建议时往往力有未逮。第三，随着AI采用加速，人们越来越担心需要将大量数据发送到云端进行推理，从而引发隐私和安全问题。

Isaac进一步解释了通用大型语言模型(LLM)在软件开发领域的局限性。他表示，虽然这些模型可以提供基本的代码辅助，但它们远远无法担任初级或高级开发人员的角色，更不用说整个产品开发团队了。根据Isaac的说法，原因在于通用LLM并非专门为软件开发而训练。它们理解代码的方式就像理解法语文学或如何换轮胎一样 - 没有真正的专业性或深入理解。

Poolside解决这个问题的方法是通过一个名为“通过代码执行反馈的强化学习”(LCE)的过程。这种创新技术涉及执行代码并根据测试、漏洞扫描和其他指标评估其性能，为模型提供有效编码所需的反馈，就像人类开发人员一样。Poolside在大规模应用了这个过程，逐次提交地在超过50万个开源存储库中执行代码，以训练其模型像开发人员一样思考并理解软件开发的复杂性。

Vitor强调，这个过程是完全自动化的，存储库的选择、执行和评估都在后台进行。这种“工厂”方法使Poolside能够生成无限的合成数据，不仅增加了数据量，而且构建了一个真正理解软件开发模式和原则的模型。目前，Poolside为用户提供两个模型:Point和Malibu。这两个模型都是通过代码执行反馈的强化学习从头开始构建的，并且可以根据客户的代码和数据进行微调。Point是一个线性注意力模型，速度比现有的可比模型快约10倍。

然而，客户经常问的一个关键问题是，这些模型是否能够提供与其特定业务需求相关的建议和答复。Vitor承认通用模型在这方面确实存在困难，将这种体验比作每天都收到同样的普通鸡蛋，而不是按照自己的喜好准备。为了解决这个问题，Poolside的模型会根据多个数据源(包括客户的代码、数据和用户行为)进行微调。这个过程确保了模型理解客户业务的复杂性，例如内部API或特定的编码实践。随着用户与模型的互动，他们的反馈也会被纳入训练数据，进一步提高模型的相关性和理解能力。

Vitor设想，未来公司将拥有一个“软件智能层” - 一个比任何单个人类开发人员都更了解公司软件业务的基础设施。这个层面将根据代码、工单系统、SEM数据和部署信息等各种数据源进行微调，成为其他应用程序可以插入并利用其对软件生态系统的深入理解的宝贵资产。

然而，随着这种知识和能力的提升，一个关键问题随之而来:公司是否愿意让这种比人类开发人员更了解其软件业务的强大模型存在于其安全边界之外?Vitor承认，随着AI采用加速，对更强大的模型的需求也在增加，这可能会带来隐私和安全问题。为了说明这一点，他举了一个例子:一名人类开发人员希望完成一个支付API。该开发人员可能需要查阅各种来源，如Slack对话、拉取请求、Jira工单和相关链接，以收集必要的上下文和信息。这种数据访问级别远远超过了当前模型提供的32，000或100，000个标记的上下文窗口，凸显了需要一种更全面的方法。

为了解决这个问题，Poolside在客户的亚马逊云科技虚拟私有云(VPC)中提供其模型，确保所有数据流通、推理和微调都发生在客户的网络内。这种方法使客户能够充分利用PoolsideAI的强大功能，同时完全控制自己的数据和知识产权。Poolside最近的B轮融资5亿美元，使该公司能够为未来三年采购必要的GPU，处于构建前沿模型的最前沿。

Vitor进一步解释说，虽然有足够的资金采购计算资源相对容易，但获取高质量的代码数据却是一个重大挑战。像GitHub这样的平台上，只有一小部分数据对于训练模型是有用的。意识到这一局限性，Poolside开发了一种独特的方法来生成合成代码数据，即通过执行代码来测试顶级开源存储库的有效测试和单元测试。通过隐藏代码并根据这些测试和漏洞扫描评估Poolside生成的代码，该公司可以以前所未有的规模训练其模型像开发人员一样思考和编码。

总之，Poolside开发了一种专门为软件工程量身定制的突破性AI模型，解决了通用LLM在这一领域的局限性。通过代码执行反馈的强化学习和根据客户数据进行微调，Poolside旨在创建一个深入理解公司软件业务的“软件智能层”。通过在客户的亚马逊云科技 VPC中提供这个模型，Poolside确保组织能够从尖端的AI能力中获益，同时保持对数据和知识产权的控制。正如Isaac和Vitor所总结的关键要点，Poolside正在为软件开发构建最强大的模型，根据客户数据在其VPC内进行微调，并为客户提供API以利用这个模型作为自己的模型，量身定制以满足其特定的业务需求。

下面是一些演讲现场的精彩瞬间：

演讲者邀请Isaac解释Poolside的内容，为令人兴奋的揭秘做铺垫。

演讲者强调了当前代码助手与AI成为一名合格的初级开发人员之间存在的重大差距，并强调通用语言模型缺乏软件开发所需的专门培训。

演讲者解释了他们是如何通过反复尝试和编译，采用“思维链推理”来预测代码的行为和效率，从而学会编程。

解释了Poolside如何利用具有高质量代码、有效测试和单元测试的顶级开源存储库来训练其AI模型，使其能像开发人员一样编写代码。

强调了定制AI模型的重要性，这些模型能够理解并适应特定的业务需求，而不是依赖于提供相同结果而不考虑上下文的通用模型。

演讲者举例说明，AI模型如何通过从Slack对话、拉取请求和Jira工单等各种来源收集相关信息，高效地完成支付API，模仿人类开发人员的工作流程。

亚马逊展示了他们在软件开发领域构建高能力AI模型的前沿方法，利用强化学习和代码执行反馈，同时通过在客户VPC内对客户数据进行微调，确保数据隐私和定制化。

总结

在软件工程这个瞬息万变的领域，Poolside应运而生，成为一股开拓性的力量，打造专门为这一领域量身定制的下一代AI。他们的愿景植根于这样一种信念:软件开发需要自己独特的智能，超越通用模型的局限性。

Poolside的方法是多方面的，首先从头创建一个新的基础模型，一个专门为软件开发精心设计的大型语言模型。通过在代码和开发人员交互上进行微调，该模型对您的业务获得深入理解，确保其相关性和适用性。此外，Poolside在您的安全边界内部署该模型，保护您的数据和知识产权。

Poolside创新的核心是他们专有的LCE(通过代码执行反馈进行强化学习)技术。通过执行代码并根据测试和漏洞扫描评估其性能，该模型学会像开发人员一样思考，掌握编码艺术，过程类似于人类学习。这种方法在超过500，000个开源存储库中大规模应用，使模型能够深入理解软件开发模式和原则。

Poolside的愿景不仅仅是代码辅助，他们设想AI将发展成为产品和开发团队的全职成员，能够理解并为您的软件业务做出超越任何单个人类开发人员的贡献。通过对您的代码、数据和用户行为进行微调，该模型成为您业务的延伸，专门针对您独特的需求和流程。

最终，Poolside旨在建立一种新的范式:软件智能层，一个关于您的软件的集中知识存储库，其他应用程序可以无缝集成，释放前所未有的效率和创新。凭借将您的数据保留在您的安全边界内的承诺，Poolside使您能够充分利用AI的潜力，而不会损害您的知识产权。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。