无数据模型窃取——Data-Free Model Extraction

Data-Free Model Extraction

2021CVPR
论文地址

Truong, Jean-Baptiste, et al. “Data-free model extraction.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.

模型窃取，指攻击者通过黑盒查询，从而还原模型或者获取模型训练集信息的攻击。
模型窃取繁衍出非常多的方式，比如数据增强，差分查询，侧信道获取额外信息，等等。模型窃取其实和知识蒸馏类似，但是不同之处在于模型窃取无法获取原始训练集并且缺少一些模型的先验知识。
本文提出了，在模型窃取中，前提往往是攻击者能够获得一个和训练集分布类似的替代数据集。但是实际上这一要求是比较严苛的。因为一些数据往往不是那么容易获取的，此外数据量往往会影响到窃取效果。获取比较大量的数据是不太现实的。
因此本文提出了无数据模型窃取。
所谓无数据模型窃取，就是不需要训练集。说道这里你可能就自然而然想到了GAN，使用对抗训练去训练一个逼近被盗模型的模型。

---

方法

模型窃取攻击的目的就是训练一个学生模型去接近教师模型，最小化他们之间的预测误差。