随着 AI 模型在功能和创建成本方面的增长,它们保存了更多敏感或专有数据,保护静态数据变得越来越重要。为此,组织正在设计策略和工具,通常作为数据丢失预防和安全供应链计划的一部分,以保护模型权重。
虽然安全工程讨论的重点是预防(我们如何预防 X?),但检测(发生了 X 吗?)是成熟的深度防御框架中类似的关键部分。这一部分可显著缩短检测、隔离和补救入侵所需的时间。目前,对于 AI 模型的检测功能与用于监控任何其他敏感数据的检测功能相同,没有任何检测功能专注于 AI/ML 的独特性。
在本文中,我们将介绍 canary,然后展示如何使用 canary 令牌增强适用于 AI 和 ML 模型的常见 Python Pickle 序列化格式,以提供超出普通网络监控解决方案的其他 AI 特定的损失检测功能。虽然首选像 safetensors 这样的更安全的模型格式,但组织仍然支持 Pickle 支持的模型文件的原因有很多,在其中构建防御是良好风险缓解策略的一部分。
Canaries:轻量级线
在最基本的层面上,canaries 是环境中留下的伪影,这些伪影是良性用户不可能访问的。例如,授权用户通常会记住自己的密码,但是一般来说,用户不会在凭据文件中搜索密码,然后尝试使用这些凭据对网络上的服务进行身份验证。
安全工程师可以创建虚假凭据,将其留在可发现的位置,并在凭据被使用时生成警报,以调查其访问和使用情况。这是 CanaryTokens 背后的逻辑。Canary