无数据模型窃取——Data-Free Model Extraction

Data-Free Model Extraction

2021CVPR
论文地址

Truong, Jean-Baptiste, et al. “Data-free model extraction.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.

模型窃取，指攻击者通过黑盒查询，从而还原模型或者获取模型训练集信息的攻击。
模型窃取繁衍出非常多的方式，比如数据增强，差分查询，侧信道获取额外信息，等等。模型窃取其实和知识蒸馏类似，但是不同之处在于模型窃取无法获取原始训练集并且缺少一些模型的先验知识。
本文提出了，在模型窃取中，前提往往是攻击者能够获得一个和训练集分布类似的替代数据集。但是实际上这一要求是比较严苛的。因为一些数据往往不是那么容易获取的，此外数据量往往会影响到窃取效果。获取比较大量的数据是不太现实的。
因此本文提出了无数据模型窃取。
所谓无数据模型窃取，就是不需要训练集。说道这里你可能就自然而然想到了GAN，使用对抗训练去训练一个逼近被盗模型的模型。

---

方法

模型窃取攻击的目的就是训练一个学生模型去接近教师模型，最小化他们之间的预测误差。

模型结构如下
使用一个生成器，生成数据，并计算V和S模型之间的损失。
这里只能反向传播S模型的梯度，因为V是一个黑盒。

G生成数据以极大化两个模型之间的预测差异。而S则是最小化与V的预测差异，这就构成了一个博弈过程。

结果