为云AI时代重新定义安全（由CrowdStrike赞助）

为云AI时代重新定义安全（由CrowdStrike赞助）

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， Falcon Cloud Security， Cloud Ai Era， Security Controls， Ai Applications， Large Language Models， Ai Model Safety]

导读

采用人工智能以提高速度和创新的竞赛是一把双刃剑——企业必须快速拥抱这些技术以保持竞争力，同时还要防范与人工智能相关的风险。本次会议探讨了当今的云安全解决方案如何应对关键的人工智能相关风险，以及应该如何提供对人工智能模型的全面可视性、检测影子人工智能、确保安全配置、保护敏感数据，并确保符合严格的安全和隐私法规。参加本次会议，了解CrowdStrike如何重新定义云人工智能时代的安全，并学习他们如何帮助您加强人工智能计划、降低风险，使您的组织能够自信地进行创新。本次演讲由亚马逊云科技合作伙伴CrowdStrike为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华。

人工智能(AI)应用和大型语言模型的快速采用确实令人瞩目，令人惊讶的是，已有60%的客户在其环境中利用这些技术用于各种用例。这些包括用于客户支持的聊天机器人、营销和销售应用程序，以及旅行代理工具，展示了这些技术的巨大潜力。然而，一个令人担忧的统计数据显示:超过50%的这些客户尚未实施适当的安全政策或措施来保护其AI应用程序。尽管过去一年采用步伐飞快，但这仅仅是个开始，因为这些技术所带来的生产力提升和增强的客户体验预计将在未来三年内推动采用量呈指数级增长。预测显示，仅AI服务和软件的软件支出就可能超过惊人的3000亿美元。

鉴于这些快速发展的采用趋势和变化的疾速步伐，考虑利用这些应用程序的安全影响至关重要。AI模型安全是一个至关重要的问题，因为客户努力在客户体验的每个阶段优先考虑安全性、透明度、公平性和稳健性。这需要确保模型本身不存在意外偏差，能够抵御对手攻击，并遵守新兴监管框架规定的道德和法律标准。彻底的测试、监控以及实施防护措施和风险调查策略对于保护模型本身至关重要。

在客户构建这些模型时，他们越来越依赖于微调的专有数据来根据特定需求定制模型输出。因此，健全的数据治理措施对于确保适当的访问控制和保护这些敏感信息至关重要。此外，这些模型及其相关应用程序运行在云端或本地的计算基础设施上，需要采取健全的安全措施来防御对手。

隐私问题也是一个重大考虑因素，因为模型越来越多地使用自定义数据进行定制，这些数据可能包含来自调查或其他来源的敏感信息。这迫使开发人员和安全团队应对数据匿名化、解决GDPR问题、最小化数据暴露以及实施访问控制以防止开发人员访问客户数据等挑战。旨在确保客户数据隐私的新兴法规和框架进一步凸显了实施健全控制的重要性。

除了这些安全考虑因素外，AI被采用的方式也带来了额外的挑战。通常情况下，采用发生在没有正式流程的情况下，开发人员或用户开始在自己的设备或笔记本电脑上使用这些技术。这种做法引发了担忧，因为敏感数据可能被上传，而来自大型语言模型(LLM)的不准确或潜在有害数据可能被使用，从而产生超出现有安全控制和治理框架的风险。鉴于这些新挑战，目前实施的标准协议和检查可能不足或不相关于这些特定类型的应用程序。

几个月前发现的一个真实漏洞凸显了这些问题的严重性。在这种情况下，LLM应用程序中的一个漏洞(不是模型本身，而是处理输入/输出响应的方式)允许攻击者利用身份验证绕过漏洞。这使他们能够探测密码、令牌和访问存储库，最终导致一旦获得必要的密钥并横向移动，就会从矢量数据库中泄露敏感信息。

这一事件凸显了，虽然基础模型本身可能被视为主要风险，但考虑构成应用程序的所有组件至关重要。为了解决这些挑战，共同责任模型提供了一个有用的框架。在左侧，我们有构成AI应用程序的三个组件:AI平台，包括基础模型的安全性、可问责制、调优、基础设施和数据治理;AI应用程序本身，包括插件、数据连接、基础设施和相关代码;最后是AI数据和使用，涵盖数据访问、治理、管理、控制以及身份和访问管理。

根据客户选择构建应用程序的方式，他们可以选择三种模式之一。第一种是“自带模型”(BYOM)用例，客户的责任从保护AI平台层一直延伸到数据和使用层，责任级别随着向右移动而增加。

第二种选择是AI平台即服务，如Amazon Bedrock，客户可以使用自己的模型，需要安全配置基础设施和模型本身。

最后，AI SaaS服务提供了客户可以与之交互的API，将他们的责任限制在安全模型的数据和使用部分。

审视AI应用程序的典型技术堆栈，我们从包括平台、计算和模型的基础设施开始。接下来是模型交互或训练的数据，然后是构成应用程序核心的基础模型。最后，我们在这些组件之上构建了用户体验。

虽然这可能类似于典型的Web应用程序，但关键区别在于它依赖于基础模型。为了解决安全风险，OWASP组织最近发布了一个框架，概述了LLM应用程序需要考虑的十大风险。

第一组风险集中在输入和输出响应安全性上，确保用户无法操纵模型来渗透数据或执行任意代码。不安全的输出处理解决了LLM发出不准确或潜在有害信息的风险，这可能导致诸如跨站点请求伪造(CSRF)之类的攻击。

数据安全是另一个关键考虑因素，包括数据投毒，即引入恶意数据以影响或偏差模型，以及防止敏感信息泄露。

在构建这些应用程序时，通常会利用来自Hugging Face等第三方来源的基础模型或框架，供应链漏洞成为一个重大风险因素。值得注意的是，对Hugging Face上超过10万个大型语言模型的分析显示，超过60%存在漏洞，如果在应用程序中使用这些容器而没有适当审查，则存在重大风险。

其他风险包括模型盗窃，即缺乏有效控制措施来防止未经授权获取LLM及其相关模型。

为了说明这些OWASP前十大风险如何映射到基于亚马逊云科技构建的实际应用程序，考虑使用Amplify构建的典型Web应用程序，使用Cognito进行用户身份验证和管理，使用Bedrock，并使用监控服务进行身份和访问管理以及数据库。

在前端，用户通过用户界面与应用程序交互，必须解决诸如访问控制机制失效、提示注入技术和不安全的输出处理等风险。

转移到管理组件，问题包括身份和访问控制配置错误、数据完整性故障，以及如果客户在Bedrock上构建和运行自己的模型，则存在模型盗窃风险。

这些AI应用程序的开发过程涉及多个利益相关者，包括构建全栈的开发人员、控制云服务的平台管理员、负责模型开发的ML和数据工程师，以及治理、风险和合规团队，以及模型审批人员。任何解决方案都必须确保所有这些用户都了解相关风险，并且从开发阶段就将安全控制融入其中，同时为治理和审计目的提供可见性和透明度。

在开发阶段保护AI应用程序涉及三个典型阶段:在开发期间保护AI、管理应用程序及其运行服务的状态，以及监控针对它的威胁。

关注开发阶段，特别是客户构建自己模型的场景，Git存储库是所有代码和控制的可信来源。开发人员通常利用TensorFlow、MXNet和PyTorch等框架来构建模型本身，通常会合并自定义代码和第三方库。此外，他们可能通过API访问数据湖或本地数据存储。典型工作流程包括将代码推送到Git存储库，触发代码构建，打包应用程序和推理容器，并将它们推送到Amazon Elastic Container Registry (ECR)。然后，这些容器可以部署在Amazon Elastic Kubernetes Service (EKS)上，并通过SageMaker端点公开。

漏洞可能来自各种来源，包括预配置了模型的容器映像、存在操作系统漏洞的虚拟机和模板、应用程序中使用的第三方库，以及用于训练的数据集。回到OWASP前十大风险，在合并这些库和模型时会出现供应链风险，其中一些被发现包含嵌入式恶意软件或提示注入代码。此外，使用受损数据集可能导致模型中毒。

为了缓解这些风险，识别和确保供应链安全、确保模型管道安全以及进行威胁建模和代码分析至关重要。CrowdStrike的Falcon预运行扫描解决方案可以扫描ECR中的容器镜像，检测漏洞(包括针对AI/ML框架的特定漏洞)，以及检测恶意软件、密钥和错误配置。一旦新的Git提交触发代码构建，定义云服务的基础设施代码模板以及应用程序和ML推理容器就会在部署之前进行扫描。

CrowdStrike的动态容器分析更进一步，通过运行容器并暴露行为检测来补充静态扫描功能。该解决方案还支持扫描无服务器功能和虚拟机AMI镜像。

然而，确保管道和应用程序代码的安全只是整体安全策略的一个方面。这些组件必须运行在基础设施上，如EKS，并可能利用Amazon SageMaker和Amazon Bedrock等补充服务。CrowdStrike的解决方案旨在增强这些云服务已经内置的安全功能。

开发有效的AI安全计划首先要培养AI治理和文化。这包括为内部和外部用户提供可接受的使用政策，明确说明AI可以和应该在何处使用，增强对使用政策和相关风险的认识。随着环境不断发展，持续沟通和更新至关重要。

确保访问控制和数据保护是另一个关键组成部分。由于LLM为客户提供了潜在的专有或敏感信息，健全的数据访问政策、数据边界和数据防丢失(DLP)措施对于防止未经授权访问或数据泄露至关重要。如果没有安全路径，组织必须审查替代AI平台和工具，并确保只有经授权的用户才能从安全设备访问这些服务。

为了实施有效的控制措施，组织首先必须获得对其云服务及其配置的可见性。CrowdStrike提供了对Amazon SageMaker和Bedrock等服务的可见性，通过集成扫描ECR存储库和监控EKS和Amazon Elastic Container Service (ECS)端点，识别漏洞、错误配置、敏感数据暴露和供应链风险。

由于这些模型通常运行在容器化环境中，CrowdStrike的Falcon Cloud Security解决方案为AI模型本身提供了运行时保护，支持运行时遥测和针对AI特定行为的检测。

此外，运行时模型扫描能够检测已部署镜像中的漏洞，即使在初始扫描之后。如果发现新的零日漏洞，CrowdStrike可以快速根据扫描包的相关元数据设置检测，从而使安全团队能够识别并解决整个环境中的漏洞。

通过将运行时信息与云配置数据相结合，CrowdStrike能够为客户和安全团队提供更好的见解，以解决这些风险。CrowdStrike的统一AI态势屏幕整合了所有相关信息，包括AI模型的部署位置、传感器的存在、漏洞、对AI隐私和治理框架的合规性、检测和暴露风险。它还暴露了具有访问敏感数据或漏洞的AI/ML服务的攻击路径，提供了有关如何授予该访问权限的宝贵上下文。

Samir概述了AI安全策略的最佳实践，涵盖五个关键领域:

1. 供应链治理:包括数据治理、对用于应用程序的数据和软件进行扫描和追溯，确保软件供应链安全。
2. 安全开发生命周期:纳入漏洞评估、模型治理和自动化流程，并设置适当的防护措施以最小化人工参与。
3. 透明度和责任:为用户提供对用于训练的数据的可见性、沟通渠道，并保留记录，以实现可审计性和可追溯性，满足治理和监管合规性要求。
4. 不利AI研究与开发:投资专注于AI的研发团队，开发主动防御工具，进行红队演练以验证模型行为、防止数据泄露，并研究有效的防护措施来控制输入/输出响应和LLM行为。
5. 培训安全运营中心(SOC)团队:制定针对AI特定威胁的事件响应方法，如模型行为异常、针对模型的分布式拒绝服务(DDoS)攻击，以及关于潜在滥用或误用模型的威胁情报。

这些最佳实践应与现有的访问控制策略、确保云服务安全和实施零信任原则相结合，以保护设备和运营。

CrowdStrike与亚马逊云科技密切合作，与各种服务集成以实现部署、运行时保护和监控，使客户能够有效地保护其AI应用程序。相关集成细节可在提供的GitHub页面上找到。

Samir最后分享了其他资源，包括CrowdStrike全球威胁报告，其中提供了过去一年所发现的威胁情报和发现的见解。CrowdStrike本身为安全团队构建了名为“CrowdStrike AI”的AI应用程序，以加速其运营。最后，他鼓励与会者如果还没有使用过，可以探索CrowdStrike的Falcon Cloud Security解决方案。

总之，AI应用程序和大型语言模型的快速采用带来了重大的安全挑战，必须通过一个全面的策略来解决，该策略涵盖了整个应用程序生命周期，从开发到运行时监控和事件响应。通过利用CrowdStrike的Falcon平台等解决方案，并与亚马逊云科技等云提供商合作，组织可以有效地保护其AI计划，同时释放这些前沿技术的变革潜力。

下面是一些演讲现场的精彩瞬间：

演讲者阐述了观众在实施人工智能应用程序的安全控制和程序方面所做的努力，强调了不断变化的环境以及适应安全实践以容纳大型语言模型的需求。

演讲者强调了对人工智能系统采用正式的采用流程和治理控制的需求，因为目前没有适当安全措施的临时使用会带来敏感数据和不准确输出的风险。

演讲者解释了人工智能应用程序的共同责任模型，重点介绍了三个关键组成部分:人工智能平台、人工智能应用程序本身以及人工智能数据和使用治理。

演讲者强调了在使用大型语言模型时，采取健全的数据保护措施(包括访问控制、数据丢失预防监控和仅限授权用户的安全访问)以保护敏感和专有信息的重要性。

亚马逊Inspector的运行时模型扫描功能可实现对已部署容器镜像中零日漏洞的实时检测，从而增强安全态势。

投资于不利人工智能研发团队并实施有效的防护措施对于主动防御新兴的人工智能安全威胁和确保人工智能行为负责任至关重要。

演讲者强调了全球威胁报告和基于人工智能的安全解决方案，并鼓励观众利用CrowdStrike的资源来增强网络安全。

总结

在云AI时代，安全性必须与时俱进，应对大型语言模型(LLMs)和AI应用程序带来的新挑战。本文探讨了AI的快速采用，超过60%的客户已经在使用这些技术，但超过50%缺乏适当的安全政策。关键考虑因素包括AI模型安全性、数据治理、基础设施保护和隐私问题。

一个真实的漏洞突出了风险不仅仅存在于基础模型，因为一个身份验证绕过漏洞允许攻击者访问敏感数据。为了保护AI应用程序，提出了一种共同责任模型，责任涵盖AI平台、应用程序以及数据/使用层面。通过供应链治理、漏洞评估和模型治理来确保开发管道的安全性至关重要。

透明度、对抗性AI研究和培训安全团队对于建立信任和领先于新兴威胁至关重要。CrowdStrike提供了保护AI应用程序生命周期的解决方案，从开发到运行时保护和监控，与亚马逊云科技服务集成。随着采用加速，投资全面的AI安全战略至关重要。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。