《机器学习安全及隐私保护研究进展》学习笔记

1. 攻击者模型（Adversary Model）

原文中，将 adversary model 翻译成“敌手”，我觉得不是很恰当，这里直译为攻击者。

1.1 攻击者目标（从 CIA 三方面来看）

• 机密性
• 完整性
• 可用性

1.2 攻击者知识

• 训练数据（training data）
• 模型架构（model structure）
• 参数（parameters）
• 决策函数（decision function）
  • 黑盒模型（black-box）
  • 白盒模型（white-box）

1.3 攻击者能力

• 数据控制能力的不同：

  • 强攻击者
  • 弱攻击者

• 训练阶段中：

  • 访问训练数据
  • 注入恶意数据
  • 直接修改数据

1.4 攻击者策略

• 为达到攻击目标，采取的具体攻击方式

2. 机器学习安全威胁及防御技术

2.1 机器学习常见的安全性威胁：

2.1.1 训练阶段的安全威胁

1. 投毒攻击（poisoning attack）

• [1]：随机修改40%训练数据标签，在二分类中无法正常分类（SVM）。
• [2-3]：注入精心制作的恶意样本，使决策边界改变。误分类（较常见）
• [4-5]：在新收集的数据上投毒

2.1.2 预测阶段的安全威胁