OWASP发布开源AI网络安全知识库框架AI Exchange

面对人工智能安全相关工具、平台、法规、应用和服务的快速增长，在推出大语言模型十大漏洞TOP10列表后，OWASP近日又推出了AI开源网络安全知识库框架——AI Exchange（链接在文末），旨在推进全球AI安全标准、法规和知识的开发和共享。

考虑到人工智能环境安全防御的复杂性，AI Exchange的导航器可帮助用户快速查询包括各种威胁、漏洞和控制的有用资源。

AI Exchange导航器

OWASP AI Exchange还率先提出了一些通用AI安全建议，，并按攻击面和生命周期排序。其中包括实施人工智能治理、将安全和开发实践扩展到数据科学以及根据人工智能的具体用例。

威胁是按攻击面（攻击发生的方式和地点）组织的，而不是按影响组织的。这意味着，例如，在概述的三个不同部分中提到了模型盗窃：

• 通过从实时系统中窃取模型参数来窃取模型，例如闯入网络并从文件中读取参数，
• 通过从工程环境中窃取建模过程或参数来窃取模型，例如存储在数据科学家的版本管理系统中，以及
• 通过使用 AI 系统进行逆向工程来建模盗窃。这是三种截然不同的攻击，具有相似的影响。这种组织方式很有帮助，因为目标是将威胁链接到控制措施，而这些控制措施因攻击面而异。

覆盖AI威胁、攻击面、生命周期和资产的AI安全矩阵 来源：OWASP

虽然 AI 提供了强大的性能提升，但它也增加了不良行为者可用的攻击面。因此，在处理 AI 应用程序时，必须清楚地了解潜在威胁以及每个用例应优先考虑哪些威胁。标准和治理有助于指导利用 AI 功能的各个实体的此过程。

• 实施 AI 治理
• 扩展安全和开发实践，以包括数据科学活动，特别是保护和简化工程环境。
• 通过了解 AI 的特殊性来提高常规应用程序和系统的安全性，例如模型参数需要保护，对模型的访问需要监控和速率限制。
• 通过最小化权限和增加监督（例如护栏、人工监督）来限制 AI 的影响。
• 通过了解模型攻击（例如数据质量保证、更大的训练集、检测常见的扰动攻击、输入过滤）来应对数据科学中的对策。

黑客攻击人工智能的方式有很多，并且涌现了很多新威胁，例如数据泄露、数据中毒，甚至对人工智能供应链的攻击。以下是AI Exchange给出的AI安全威胁与控制措施的威胁模型图：

AI威胁与控制模型图来源：OWASP

总之，AI Exchange为企业提供了一种全面的方法来识别AI相关威胁和对应的控制措施。首先通过威胁建模等方法识别威胁，确定企业内部应对威胁的责任，以及评估服务提供商、软件和供应商等外部因素。

然后，AIExchange框架会引导企业选择合适的威胁缓解措施，并将这些控制措施与现有和新兴标准交叉引用。遵循这些步骤，企业将能对AI风险的持续监控和维护做出明智决策。

与其他软件系统非常相似，人工智能系统开发也遵循生命周期，因此AIExchange建议企业遵循NIST的安全软件开发框架（SSDF），在人工智能软件开发生命周期(SDLC)的各个阶段进行安全防护，包括安全设计、开发、部署以及操作和维护。

参考链接：

https://github.com/OWASP/www-project-ai-security-and-privacy-guide/blob/main/owaspaiexchange.md