生成式人工智能对企业的网络安全问题

     欢迎来到雲闪世界。大型语言模型（LLM）在企业中规模部署的网络安全备受关注。

我们还发现一种日益增长（且令人担忧）的趋势，即企业正在将其为数据科学/预测分析管道设计的隐私框架和控制原样应用于Gen AI/LLM 用例。

这显然是低效的（并且有风险），我们需要调整企业隐私框架、清单和工具——以考虑到 LLM 的新颖和差异化的隐私方面。

机器学习 (ML) 隐私风险

让我们首先考虑传统监督式 ML 环境中的隐私攻击场景 [1, 2]。这涵盖了当今 AI/ML 世界的大多数，其中大部分机器学习 (ML)/深度学习 (DL) 模型的开发目标是解决预测或分类任务。

传统机器（深度）学习网络安全/泄密

      推理攻击主要分为两大类：成员推理攻击和属性推理攻击。成员推理攻击是一种基本的隐私侵犯行为，攻击者的目标是确定特定用户数据项是否存在于训练数据集中。在属性推理攻击中，攻击者的目标是重建参与者数据集的属性。

当攻击者无法访问模型训练参数时，只能通过 API 运行模型来获得预测/分类。在这种情况下，黑盒攻击 [3] 仍然是可能的，攻击者有能力调用/查询模型，并观察输入和输出之间的关系。

训练好的 ML 模型特征泄漏