AI Safety与AI Security的共同点和差异（上）

---

前言

AI safety和AI security是在人工智能系统的开发和部署中扮演着独特但相互关联角色的基本方面。 AI security主要围绕着保护系统以确保机密性、完整性和可用性，包括防范未经授权访问、数据泄露以及与C.I.A.三元原则一致的干扰。AI safety涉及更广泛的考虑，涉及人类福祉、伦理影响和社会价值观等问题，超越了技术安全措施的限制。

CSA 人工智能安全倡议（AI Safety Initiative）的建立标志着解决围绕AI Safety存在的多方面挑战迈出了重要一步。尽管最初重点放在通过即将推出的成果来关注AI security上，但 CSA人工智能安全倡议（AI Safety Initiative）的长期目标是同时涵盖 AI safety和AI security。

---

一、AI Security：人工智能生态系统的CIA

AI security解决了与受损的人工智能系统相关的潜在风险。为了解决这些风险，C.I.A.三元概念——机密性、完整性和可用性——作为AI security的基础框架。

1.1 AI生态系统中的保密性

保密性指的是保护敏感信息免受未经授权的访问或披露。在人工智能生态系统中，保密性涵盖了各个方面，包括数据隐私、模型安全以及防止信息泄漏。

数据隐私

人工智能系统在训练和推理过程中严重依赖数据。这些数据通常包括个人信息、敏感商业数据或其他机密信息。确保这些数据的保密性对于防止隐私泄露、身份盗窃或滥用敏感信息至关重要。

差分隐私、安全多方计算和同态加密等技术可用于保护训练数据的隐私性。此外，强大的访问控制机制和安全的数据存储实践对于在整个生命周期中维护数据的保密性至关重要。

模型安全

AI 模型本身可以被视为知识产权，可能包含敏感信息或专有算法。保护这些模型免受未授权访问、盗窃或逆向工程是维护 AI 生态系统机密性的关键。

可以采用模型混淆、水印技术和安全隔离区域（如 GPU 中的可信执行环境）等技术来保护 AI 模型免受未授权访问或篡改。此外，安全部署和执行环境以及强大的访问控制机制对于维护模型安全至关重要。

防止信息泄漏

人工智能系统可能会通过其输出或交互无意中泄露敏感信息。例如，训练在敏感数据上的语言模型可能会在生成的文本中无意中透露机密信息，或者计算机视觉模型可能会无意间从图像中暴露个人信息。

诸如输出过滤、差分隐私和安全多方计算等技术可以帮助降低人工智能系统信息泄漏的风险。此外，强大的监控和审计机制可以帮助检测和减少潜在的信息泄漏。

1.2 AI生态系统中的完整性

完整性指的是AI生态系统中数据、模型和输出的可信度和准确性。确保完整性对于维护AI系统的可靠性和信任度至关重要，同时可以预防与受损或被篡改的AI组件相关的潜在风险。

数据完整性

AI系统在训练和推理过程中严重依赖数据的质量和准确性。数据的损坏、篡改或中毒可能导致错误或有偏见的AI输出，从而破坏整个AI生态系统的完整性。

诸如数据采集同意管理跟踪、安全数据来源、数据验证和完整性检查机制等技术可以帮助确保数据在其生命周期内的完整性。此外，强大的访问控制和审计机制可以帮助检测和防止对训练数据的未授权修改或篡改。

模型完整性

AI模型本身可能会受到各种形式的攻击，例如对抗性示例、模型提取或模型反演攻击。这些攻击可能会损害AI模型的完整性，导致错误输出或敏感信息泄漏。

对抗性训练、模型水印和安全隔离等技术可以帮助减轻模型完整性攻击的风险。此外，强大的监控和审计机制可以帮助检测和减轻潜在的模型完整性违规行为。

输出完整性

即使AI生态系统中的数据和模型是安全的，AI系统生成的输出仍可能受到损害或篡改。这可能导致下游后果，如误传信息、基于错误输出的决策制定，或注入恶意内容。

输出验证和调节、安全溯源跟踪和数字签名等技术可以帮助确保AI输出的完整性。此外，强大的监控和审计机制可以帮助检测和减轻潜在的输出完整性违规行为。

1.3 AI生态系统中的可用性

可用性指的是在AI生态系统内可靠且及时地访问AI系统、数据和资源。确保可用性对于维护AI系统的持续运行和功能性至关重要，同时可以预防与系统停机或拒绝服务攻击相关的潜在风险。

系统可用性

AI系统必须在需要时保