亚马逊云科技Amazon Bedrock安全理念及架构实践（二）

关键字: [生成式Ai安全策略, 负责任Ai应用, 内容过滤功能, 不当话题拦截, 个人信息保护]

本文字数: 1000, 阅读完需: 5 分钟

导读

在这场演讲中,李君介绍了亚马逊云科技Amazon Bedrock服务中的Guardrails功能,用于实现负责任的生成式AI。他解释了生成式AI应用面临的挑战,如不当话题、有害内容、隐私信息泄露和偏见输出。Guardrails提供了自定义安全策略、内容过滤、不当话题屏蔽、个人信息保护和幻觉检测等功能,帮助企业构建安全可靠的生成式AI应用。演讲还介绍了Guardrails的新功能,包括基于上下文事实性检查降低幻觉,以及通过API将安全策略应用于第三方模型。李君还分享了相关的代码示例、动手实验和博客资源,供观众进一步学习和实践。

演讲精华

以下是小编为您整理的本次演讲的精华，共700字，阅读时间大约是4分钟。

在这场精彩的讲座中,亚马逊云科技(AWS)的员工李君为我们深入解析了Amazon Bedrock安全理念及其架构实践。作为亚马逊云科技大中华区的AI专项解决方案架构师,李君首先解释了之前同事李阳分享的Amazon Bedrock服务端架构。他指出,服务端并没有什么特殊技术,只是一个典型的应用程序架构,包括前端的负载均衡器、API网关端点,后端的Web服务器(即Amazon Bedrock服务端)、应用服务器(用于实时推理)以及微调编排架构。

接下来,李君着重介绍了Amazon Bedrock上的一项名为Guardrails的服务,旨在帮助企业构建负责任的生成式AI应用。他指出,生成式AI应用在企业或个人使用时,可能会遇到一些挑战。首先,用户可能会提出一些无关或不当的话题,例如在金融助手应用中问及法律或外卖相关问题。其次,应用可能会涉及有毒或存在安全风险的内容,如竞争对手信息或各种有害信息。第三,一些应用场景如客服中心或呼叫中心,可能会涉及个人身份信息(PII)的泄露,如用户资料、订单信息等。最后,某些应用如职场简历筛选,可能存在偏见,导致输出结果带有偏见。

为了应对上述挑战,Amazon Bedrock上的Guardrails功能可以根据企业自定义的安全策略(Policy),实现负责任的生成式AI,为用户提供保护。李君通过评测数据展示,如果不使用Guardrails,即使使用内置了一些安全能力的大模型,也只能阻挡85%的有害内容(对于基于大模型的检索增强生成任务)和75%的幻觉响应(如文章摘要、情绪分析等)。

为了解决这一问题,Guardrails提供了五大主要功能特性。首先,它可以评估并为Amazon Bedrock上的模型(30多个基础模型供应商)以及第三方自定义模型提供安全保护,通过独立的API审核Prompt和Response。其次,Guardrails可以设置内容过滤,通过低中高阈值过滤有害内容、提示注入攻击等。第三,用户可以通过简短的自然语言定义不当话题,帮助Guardrails拦截不当内容。第四,Guardrails能够移除或阻止个人PII信息。最后,Guardrails最新发布的功能是基于源数据提供幻觉检测。

李君还详细介绍了两个最新功能。首先是上下文事实事性检查,通过设置与参考事实和话题相关性的阈值,降低模型输出的幻觉。另一个最新功能是,用户可以在第三方模型上应用Amazon Bedrock Guardrails的安全策略,通过独立API直接调用策略,如PII信息保护、内容过滤等,为第三方模型提供安全保护。

为了帮助用户更好地理解和实践Amazon Bedrock,李君分享了一些代码示例、动手实验和博客资料。在动手实验中,用户可以学习如何使用Apply Guard Rule这样的API为第三方模型设置安全保护。博客上也有最新发布的内容以及相关资料。

总的来说,这场讲座深入剖析了Amazon Amazon Bedrock的安全理念和架构实践,重点是Guardrails功能如何帮助企业构建负责任、安全的生成式AI应用。通过自定义安全策略、内容过滤、不当话题拦截、PII信息保护以及幻觉检测等多重手段,Guardrails为企业生成式AI应用的安全性提供了全面保障,使其能够在避免风险的同时发挥最大效能,为用户带来优质体验。

下面是一些演讲现场的精彩瞬间：

Amazon Bedrock服务端的高层次架构包括前端负载均衡器、API网关端点、Web服务器、应用服务器以及实时推理和微调编排模块,展现了一个标准的分层架构设计。

Amazon Bedrock的Guardrails可以帮助自定义第三方模型,提供安全的围栏功能,通过独立的API审核提示和响应,确保符合安全策略。

通过设置相关性阈值和话题阈值,Amazon Bedrock Guardrails可以帮助检测模型输出是否存在幻觉,从而降低幻觉风险。

总结

亚马逊云科技的Amazon Bedrock服务提供了一个名为Guardrails的功能,旨在帮助企业构建负责任的生成式AI应用。生成式AI应用面临着无关话题、有害内容、隐私泄露和偏见等挑战。Guardrails通过自定义安全策略,可以实现内容过滤、不当话题拦截、个人信息保护和偏见检测,从而为用户提供安全保护。

Guardrails不仅可以评估Amazon Bedrock上的内置模型,还支持对第三方模型进行安全审核和规则应用。它提供了独立的API,可以审核提交给大模型的提示,并根据定义的规则审核模型输出。此外,Guardrails还引入了上下文事实性检查和第三方模型策略应用等新功能,帮助降低幻觉风险并将安全策略应用于自托管模型。

亚马逊云科技为开发者提供了相关代码示例、动手实验和博客资料,方便学习和使用Guardrails,构建负责任且安全的生成式AI应用。Amazon Bedrock旨在通过Guardrails为企业提供全面的生成式AI安全解决方案。