数据科学家成为带有静默后门的恶意 Hugging Face ML 模型的目标

在人工智能协作领域，Hugging Face 占据主导地位。但它会成为基于模型的攻击的目标吗？JFrog 最近的发现表明了一种令人担忧的可能性，促使人们更仔细地审视该平台的安全性，并预示着人工智能研究进入了谨慎的新时代。

关于人工智能机器语言 (ML) 模型安全性的讨论仍然不够广泛，这篇博文旨在扩大围绕该主题的讨论。JFrog 安全研究团队正在分析如何利用机器学习模型通过代码执行来破坏 Hugging Face 用户的环境。

这篇文章深入探讨了我们发现的恶意机器学习模型的调查。与其他开源存储库一样，我们一直在定期监控和扫描用户上传的 AI 模型，并发现了一个模型，在加载 pickle 文件后，其加载会导致代码执行。该模型的有效载荷为攻击者提供了受感染机器的 shell，使他们能够通过通常称为“后门”的方式完全控制受害者的机器。这种无声渗透可能会授予对关键内部系统的访问权限，并为大规模数据泄露甚至企业间谍活动铺平道路，不仅影响个人用户，还可能影响全球的整个组织，同时让受害者完全不知道他们的受感染状态。提供了对攻击机制的详细解释，揭示了其复杂性和潜在后果。在我们解开这个邪恶计划的复杂性时，让我们记住我们可以从攻击中学到什么，攻击者的意图和他们的身份。

与任何技术一样，如果处理不当，AI 模型也会带来安全风险。其中一个潜在威胁是代码执行，这意味着恶意行为者可以在加载或运行模型的机器上运行任意代码。这可能导致数据泄露、系统入侵或其他恶意行为。

加载 ML 模型如何导致代码执行？

加载 ML 模型如何导致代码执行

从不受信任的来源加载某些类型的 ML 模型（见下表）时，可能会发生代码执行。例如，某些模型使用“pickle”格式，这是序列化 Python 对象的常用格式。但是，pickle 文件也可能包含在加载文件时执行的任意代码。

ML 模型类型及其代码执行能力

ML 模型类型及其代码执行能力 [基于]（点击展开）

Hugging Face 安全

Hugging Face是一个机器学习社区协作开发模型、数据集和应用程序的平台。它为文本、图像、视频、音频和 3D AI 提供开源、付费和企业解决方案。

为了防止这些攻击，Hugging Face 实施了多项安全措施，例如恶意软件扫描、pickle 扫描和机密扫描。这些功能会扫描存储库中的每个文件以查找恶意代码、不安全的反序列化或敏感信息，并相应地向用户或版主发出警报。Hugging Face 开发了一种用于安全存储模型数据的新格式，称为safetensors。

虽然 Hugging Face 包含良好的安全措施，但最近发布的模型清楚地提醒我们，该平台并不能免受真正的威胁。这一事件凸显了人工智能系统中潜伏的潜在风险，并强调了不断保持警惕和主动采取安全