亚马逊云科技保护您的生成式AI应用程序安全

最新推荐文章于 2024-10-18 13:45:35 发布

taibaili2023

最新推荐文章于 2024-10-18 13:45:35 发布

阅读量1k

点赞数 10

文章标签： aws

本文链接：https://blog.csdn.net/weixin_46812959/article/details/140237945

版权

关键字: [reInforce, Amazon Bedrock, Secure Generative Ai Applications, Security Tenets, Compliance Governance, Risk Management, Resilience Design, Prompt Injection Attacks, Sensitive Information Disclosure, Robust Prompt Engineering, Guardrails Implementation, Hallucination Mitigation Strategies, Context Augmentation, Data Poisoning Prevention, Toxicity Content Filtering, Human-In-The-Loop Controls, Continuous Monitoring Evaluation]

本文字数: 1400, 阅读完需: 7 分钟

导读

在这场演讲中,Nathan Kumar探讨了如何在亚马逊云科技上保护生成式人工智能应用程序的安全。他阐明了所涉及的风险和安全考虑,例如提示注入攻击、敏感信息泄露和幻觉等问题。演讲重点介绍了如何利用亚马逊云科技服务(如Amazon Bedrock)实施防护措施、内容过滤和持续监控,以缓解这些风险,确保生成式人工智能应用程序的安全可靠性。

演讲精华

以下是小编为您整理的本次演讲的精华，共1100字，阅读时间大约是6分钟。

在当今科技飞速发展的环境中,生成式人工智能(Generative AI)应用程序的使用日益普及,因此确保其在亚马逊云科技(亚马逊云科技)上的安全性至关重要。亚马逊云科技专业服务的高级云架构师Nathan Kumar深入探讨了风险、安全考虑因素、缓解策略以及确保生成式AI应用程序安全的最佳实践。

当组织开始开发生成式AI应用程序时,从一开始就考虑安全性至关重要。组织内部制定明确的使用指南,界定何时、在何处以及如何使用这些应用程序,这一点至关重要。必须评估监控和报告流程,以确保现有工具能够处理新的日志详细信息,因为这些应用程序可能容易在日志中存储敏感信息。

仔细评估通过应用程序生成的内容是必要的,以确定所提供建议或存储数据的任何法律考虑因素或隐私问题。实施控制措施来保护应用程序至关重要,包括在应用程序或基础模型中定义内置防护栏、在提示中纳入防护栏,以及利用Amazon Bedrock等服务来实施防护栏。必须考虑整个开发生命周期中的访问和身份管理,特别是谁可以修改改变应用程序行为的提示。

通过威胁建模进行风险管理对于生成式AI应用程序至关重要。明确定义数据(包括提示和响应数据)的所有权至关重要。此外,通过设计应用程序来处理基础模型的节流问题(它们可能对每秒可以处理的输入和输出令牌数有限制)来确保弹性也很重要。

生成式AI应用程序通常在训练、微调、提示和生成响应等不同阶段利用基础模型、大型语言模型和消费者或客户数据。应用程序可以选择托管模型或使用Amazon Bedrock等服务进行推理。这种多层方法带来了必须考虑的额外风险。

顶层风险与使用案例本身相关,包括法律影响、幻觉(事实上不正确的回复)以及安全和有毒性问题。中层风险涉及托管和推理,例如数据保留政策、对话历史记录和提示模板的访问控制。底层风险与基础模型本身有关,例如道德数据采集和训练期间潜在的偏差。

基于大型语言模型的典型应用程序架构包括用户与应用程序界面(如聊天机器人或电子邮件应用程序插件)进行交互。该应用程序服务与语言模型进行交互,后者是在大量数据上训练或在特定领域的子集数据上进行微调的。应用程序可能协调并调用下游系统来收集数据或执行操作。

该架构中的漏洞和攻击面包括提示注入,恶意代理试图改变应用程序的行为。例如,一个旨在提供旅行建议的应用程序可能会被诱骗开始讲笑话。输出处理是另一个问题,因为模型可能会产生包含敏感数据的响应而没有适当的过滤。数据投毒,即恶意行为者更改微调数据,可能导致推理失常。来自未经充分清理或匿名化的训练数据的敏感数据泄露是一种风险,缺乏适当授权或身份验证的不安全插件设计也是如此。

为了减轻这些风险,健壮的提示工程技术至关重要。提示应该清晰、明确,并与应用程序的范围保持一致。在开发和部署后,都需要持续测试和监控提示。在提示中使用思考和回答标签可以提高响应的准确性,并增加对响应生成方式的信心。

实施防护措施至关重要,因为模型可能具有固有的防护措施,可以通过提示特定的防护措施来增强。例如,提示可以暗示模型关于潜在的提示注入攻击,从而实现检测和通知。在提示中加入盐标签可以防止恶意行为者关闭标签并注入额外的指令。

对提示模板的访问控制和权限管理至关重要,确保只有经过授权的人员才能对其进行修改。当将提示模板从核心应用程序中抽象出来时,版本控制和适当的访问管理至关重要。遵循特定语言模型的提示工程指南,使用中性语言,提供上下文,并采用多重规范性提示,有助于减少偏差并促进中立响应。

解决幻觉(即响应看似正确但在事实上存在错误)可以通过提示工程、使用基础事实数据增强上下文、利用特定领域数据对模型进行微调以及调整推理参数(如温度)来控制模型的创造力和随机性来实现。如果温度值接近1,模型会更具创造力和随机性;而如果温度值接近0,模型会更加保守和准确。

在检索增强生成(RAG)应用程序中,通过访问控制来保护数据源至关重要。在提示模板中实施防护措施并执行输出过滤也是必不可少的。确保数据源(包括来自第三方的数据源)的准确性和有效性对于防止错误响应至关重要。

通过各种技术可以减轻毒性(即仇恨、威胁、侮辱或贬低性内容)。模型防护措施、提示防护措施以及利用亚马逊Bedrock的现成防护配置选项等可以帮助控制毒性。对微调数据进行策展以删除有毒内容、添加免责声明或水印,以及使用经过专门数据集训练的过滤模型,都可以进一步减少毒性。持续监控响应以识别和解决任何漂移或问题也是必不可少的。

亚马逊Bedrock提供了强大的工具来实施防护措施,包括可调强度的内容过滤器、针对特定主题(如医疗或财务建议)的拒绝主题、针对最多3个单词的脏话和短语的脏话过滤器,以及使用正则表达式模式针对预定义或自定义数据类型的敏感信息过滤器。Bedrock还允许根据防护检测来屏蔽或阻止响应,并定义自定义阻止消息。

总而言之,在构建生成式人工智能应用程序时,确保提示清晰、无歧义并与应用程序范围保持一致,至关重要。对于特权操作,应实施人工干预机制;保护提示;在训练和微调期间应用数据清理和验证;持续监控和模型评估都是必不可少的。通过诸如RAG等技术提供上下文可以提高响应质量。遵循这些最佳实践并利用亚马逊云科技服务(如Amazon Bedrock)可以帮助组织有效地保护其生成式人工智能应用程序。

下面是一些演讲现场的精彩瞬间：

在构建生成式人工智能应用程序时,需要谨慎评估内容,考虑法律、隐私和安全性,建立控制措施,实施访问和身份管理,进行风险管理和威胁建模,明确数据所有权,并确保应用程序的弹性和可靠性。