Gartner推荐全球5家采用创新方式保护人工智能安全的优秀供应商

安全和风险管理领导者面临运营挑战、合规性问题以及针对 AI 系统的攻击。这项 Cool Vendor 研究确定了采用创新方式保护 AI 应用程序、支持 AI 信任、风险和安全管理功能的供应商。

主要发现

• 安全和风险管理领导者需要升级数据和应用安全实践，以防止针对其组织开发的新 AI 应用的事件和潜在漏洞。

• 目前已有框架和指南可用，例如人工智能安全、风险和安全管理 (AI TRiSM)，它强调了减轻人工智能和网络安全风险的功能领域。然而，人工智能安全提供商提供的功能重叠且不成熟，增加了识别必要控制的复杂性。

• 应用和数据安全团队经常各自为政，导致数据保护工具被作为独立产品购买。这种缺乏协调的情况通常意味着缺乏人工智能安全测试技术来确认有效的数据安全实践。

• 安全团队的技术顾问缺乏基准、同行反馈或方法来评估什么是足够好的安全性。这对良好的评估是不利的，因为产品演示可能令人印象深刻，但并不一定能转化为大规模的有效部署。

建议

参与确保企业 AI 计划的安全和风险管理领导者应该：

• 通过安全团队的培训和知识共享，建立足够的人工智能素养。确保参与人工智能应用设计、开发和运行时的团队能够识别新的攻击面和现有防御中的漏洞。

• 进行试点和实验，以评估专用的AI运行时防御技术如何利用提示注入来帮助防止AI滥用，或尝试对超出其原始范围的AI应用进行越狱。

• 通过在开发早期集成数据保护技术以及在持续集成/持续交付（CI/CD）流程中进行 AI 安全测试来缓解隐私和数据安全问题。

• 在不忽视安全运营团队的情况下，在每个步骤中启动改进。管理与 AI 系统相关的新警报需要监控变化。

战略规划假设

到 2025 年，生成性人工智能将导致保护其所需的网络安全资源激增，从而导致应用和数据安全方面的支出增加 15% 以上。

分析

本研究并非任何特定技术领域的详尽供应商清单，而是旨在突出有趣、新颖和创新的供应商、产品和服务。Gartner 对本研究不作任何明示或暗示的担保，包括任何适销性或特定用途适用性的担保。

需要知道什么

除了数据和应用安全方面的传统风险（所有这些风险仍然很重要）之外，使用人工智能技术本身还会带来更多具体的风险。企业加大了使用和构建人工智能程序的力度。他们需要在技术生命周期的所有阶段实施人工智能护栏和特定的隐私、质量、可靠性和安全控制。AI TRiSM 支持参与支持其组织人工智能计划的安全和风险管理领导者应对这一多方面的挑战，以及他们需要与人工智能领导者合作实施所需的安全措施。

Gartner 通过一系列产品观察安全软件开发生命周期 (SSDLC)中 AI TRiSM 关键领域的技术创新，这些产品通常包括：

• AI 运行时防御 ( AIRD )：这些工具旨在为企业开发的应用提供 AI TRiSM 的“AI 运行时强制执行”功能。如今，它们主要提供近乎实时的安全控制，以抵御针对 AI 应用程序的新形式攻击，例如即时注入和越狱。它们通常包括更简单的 AI 内容异常检测（“护栏”），以检测有害和有毒的输入，甚至是幻觉和亵渎。一些提供商提供这些工具的专门版本（例如，M365 Copilot 的 AIRD、GitHub Copilot 的 AIRD）。

• 人工智能安全测试(AIST)：这些技术可自动创建和运行人工智能系统的输入和输出自动测试。越来越多的技术专门用于支持安全团队为大型语言模型 ( LLM) 聊天机器人执行人工智能红队演习。它们提供工具来自动测试模型对对抗性输入的抵抗力，还可以验证在人工智能应用程序堆栈中或人工智能聊天机器人前面实施的控制的影响。

还有其他功能可用，例如根据员工使用商业第三方 AI 应用程序（例如 ChatGPT）的活动来监控和执行策略的专门控制，或专注于与安全标准保持一致的模型管理工具，例如 NIST AI RMF 。这份 Cool Vendor 文档只能重点介绍提供这些功能的少数供应商，但 AI 安全市场领域并不缺乏酷炫的东西。

安全和风险管理领导者应该预料到工具之间的功能重叠和界限模糊。AI TRiSM 更广泛地概述了有效治理 AI 信任、风险和安全所需的所有功能。确保应用程序安全团队在 AI 网络安全治理原则的指导下运作非常重要。

随着大量创新的涌入，Gartner 发布了《信任风险和安全管理中的生成式 AI 创新指南》和《数据安全中的酷供应商》，其中包括许多其他有趣的公司和有前景的功能。同样，尽管网络和云安全提供商不断取得进展并提供可用产品，但本文档重点关注保护企业应用程序的专业 AI TRiSM 提供商。本文档也不涵盖 AI 在网络安全中的用途。   

HiddenLayer

美国德克萨斯州奥斯汀（hiddenlayer.com ） 

为什么很酷： HiddenLayer 的酷炫根源在于其在 AI 应用的整个生命周期内测试 AI 安全性的方法。其产品套件包括对抗模型测试，该测试在今年早些时候因其模型扫描仪集成到 Microsoft Azure AI Studio 目录中而获得认可。HiddenLayer 还提供安全态势管理控制、扫描模型工件、检查模型完整性以及使用 Mitre Atlas TTP 映射扫描结果。

通过提供不仅适用于 LLM 应用，还适用于其他类型 AI 资产的功能，HiddenLayer 可以测试计算机视觉或信用欺诈等领域的多种类型的模型。该供应商还提供扫描公共模型存储库以检测恶意或受损模型的服务。

HiddenLayer 还提供运行时 AI 防御，不仅限于生成式 AI ( GeneAI ) 应用，以及较新的即时监控组件。它可以实时检测和报告异常，包括即时注入或越狱等攻击、个人身份信息 ( PII) 泄露以及旨在改变模型行为的攻击类型。该供应商正在发布 AI 安全测试模块作为其平台的一部分，预计将于 2024 年上市。

挑战：作为一家试图解决 AI 安全多个领域并超越 LLM 专属产品的初创公司，HiddenLayer必须保持强劲的发展速度，同时保持对更传统安全供应商的优势。供应商需要简化其跨各种仪表板和视图的用户工作流程，以促进可以利用其解决方案的多个角色之间的协作。

谁应该关注：首席信息安全官（CISO）必须在运行时保护AI应用，并需要确保AI团队在整个AI开发生命周期中充分实施安全测试。

Holistic AI

英国伦敦（holisticai.com ） 

为什么很酷：Holistic AI 的酷炫之处在于在 AI 应用开发的多个阶段监控、控制和降低 AI 应用风险的详细而细致的过程。该供应商为第三方或第一方模型提供安全和风险管理功能，包括偏见检测、稳健性和隐私风险评估，并支持干预以提高模型准确性和公平性。Holistic AI 支持针对各种法规的专门 AI 模型审计，例如欧盟 AI 法案和纽约市偏见检测法规。

Holistic AI 通过生成和使用合成数据来测试和审计算法，从而支持隐私保护。算法审计功能与治理平台（AI 发现、库存、监控和风险管理）、合规性概述和法规跟踪器相结合，以提供全球和区域见解。Holistic 的审计控制有助于检测专有和第三方配置的 GenAI 模型中的隐私、可解释性和公平性、亵渎和有毒语言问题。

最后，Holistic AI 通过全面的知识库提供全球监管见解，并通过 AI 治理培训活动提高认识。实用指导包括行业（例如，特定州或国家的风险缓解信息）。

挑战：许多供应商强调使用人工智能来增强功能，但 Holistic AI 的“跟踪器”模块上没有类似聊天机器人的精细界面，这让从全球覆盖存储库中获取所需正确信息变得更加容易。这种情况只会变得更糟，因为预计在可预见的未来，所需资源和法律解释或参考资料的数量将快速增长。

谁应该关注：负责 AI 治理、信任、合规性和安全性的安全和风险管理或数据和分析领域的领导者应该评估整体 AI。他们必须实施 AI 治理技术来支持企业政策和法规合规性。

Lasso Security

以色列特拉维夫（lasso.security ） 

为什么很酷：Lasso Security 提供专门的LLM 安全功能，重点是防止员工滥用、错误或恶意活动。这包括他们是否使用第三方聊天机器人、开发 LLM 驱动的应用的组织或使用带有嵌入式 GenAI 功能（如GitHub Copilot ）的IDE的开发人员。

该供应商的仪表板可以发现使用最多的应用和具有高风险行为的用户。Lasso 的管理控制台支持基于用户角色和以自然语言表达的查询和响应上下文的自定义主题审核，具有内联内容编辑和预定义类别，例如敏感信息检测。其专门的GitHub控件可以突出显示和屏蔽与代码助手服务器共享的敏感数据，并提供即时安全扫描。

挑战：Lasso 的聊天机器人保护产品主要以浏览器扩展的形式部署，这可能会在某些组织中造成摩擦。该供应商规模较小，最近已扩展到保护定制企业 AI 应用。在更强的重点和扩大覆盖范围之间做出选择是初创公司最困难的决定之一，而像 Lasso 这样的 GenAI 初创公司需要做出正确的选择——也许在未来几年内需要多次做出选择。

谁应该关注：参与执行 GenAI 使用政策的安全和风险管理领导者需要了解和研究超越应用基本分类的解决方案的好处，以更好地了解用户的实际行为。应用安全领导者应该调查专注于定制企业 AI 应用程序的控制。

Privya

以色列特拉维夫( privya.ai ) 

为什么很酷：Privya 可在软件开发过程中自动执行隐私评估，以便尽早发现和解决数据保护违规行为。其解决方案以非侵入方式扫描代码，以检测使用了哪些（个人）数据、如何使用以及由谁使用，从而在操作的最早时刻检测出隐私违规行为。

其 LLM 用法可以将代码作为自然语言提取，验证和匹配目的列表以评估数据的正确使用，并创建风险概览和补救措施。其模型的训练包括来自 100 多个全球和区域标准的合规控制，包括 NIST 和欧盟 AI 法案标准。经过多个开源和 Github 存储库的训练，生成的向量允许 LLM 通过单次扫描检测操作之间的相似性。

扫描集成在 CI/CD 管道中，从代码存储库进行，因此不会对生产产生影响。每次提交时，都会提取代码、扫描代码、分析数据使用情况，并在检测到潜在违规行为后删除代码，不保留内容，以确保其机密性。违规行为可能包括不当使用（个人）数据、凭证泄露或意外包含任何第三方或 AI 模型。

这种“左移”方法是隐私工程的一部分，将隐私控制推进到应用或流程的开发和操作阶段。左移的障碍通常是容量（访问代码而不妨碍操作）和成本（投资审查可能数千行的代码并进行细微修改）。

挑战：与当今 GenAI 的情况一样，准确性是每个 LLM 纳入的关注点。第三方配置的民主化 (Gen)AI 的适用性显而易见，但非受控模型的可行性充其量仍不明确。用户必须能够访问代码，因此它无法与第三方配置的 GenAI 一起使用，例如，它通常仍然是一个黑匣子。

谁应该关注：负责确保合规性并评估其开发的应用内的隐私风险的应用和安全及风险管理领导者应该评估 Privya 的功能。人们已经付出了很多艰苦的努力来回顾性地理解数据处理活动，但通过左移代码隐私评估进行主动控制必须放在每个人的头上。

这包括检测未经授权使用第三方技术的风险、不受信任的 AI 模型的使用以及非个人数据（例如密码）的机密性风险。对于那些希望进一步自动化隐私功能的人来说，数据发现工作和处理活动记录的附加信息是额外的福利。

Robust Intelligence

美国加利福尼亚州旧金山 ( robustintelligence.com)

为什么很酷：Robust Intelligence 利用攻击性安全研究、威胁情报和机器学习，以算法方式为企业 AI 应用程序创建测试和控制。这种组合帮助 Robust Intelligence 创建了一个对抗模型测试产品（“AI 验证”），部署在开发和预生产步骤中。

该供应商参与AI 安全标准创建的过程也体现在运行时检测产品中，其中 AI 安全性（例如毒性）和安全性（例如即时注入）检测直接在各个仪表板中列出了 OWASP 前 10 名、美国国家标准与技术研究院 ( NIST) 和 Mitre Atlas 类别。Robust Intelligence 的部署选项使其能够执行包括 RAG 管道在内的控制和验证，或检查与企业向量数据库的一致性。

挑战：Robust Intelligence 不提供专门的工具来保护现成的 AI 应用使用，例如 ChatGPT（它可以通过 API 集成来实现）或嵌入式企业 AI 应用（例如 Copilot）。2024 年 8 月，思科宣布有意收购 Robust Intelligence，并在本文档发布之前完成了收购。这可能会影响未来的路线图和 Robust Intelligence 前景决策。

谁应该关注：负责为企业 AI 应用实施安全开发和运行时控制的安全和风险管理领导者应该评估如何与 AI 同行合作添加对抗性测试。实施运行时控制将需要额外的努力来构建监控和事件响应流程。与 Robust Intelligence 等供应商合作，尽早部署检测功能可以帮助自动消除最常见的问题。