论文笔记 - EncoderMI: Membership Inference against Pre-trained Encoders in Contrastive Learning

WBZhang2022

已于 2023-04-12 08:53:09 修改

阅读量314

点赞数

分类专栏： ▶ Trustworthy AI 文章标签：论文阅读计算机视觉深度学习

于 2022-10-08 16:16:11 首次发布

本文链接：https://blog.csdn.net/weixin_44944722/article/details/127205342

版权

13 篇文章 23 订阅 ¥19.90 ¥99.00

订阅专栏

自监督学习模型的成员推理攻击

论文标题	EncoderMI: Membership Inference against Pre-trained Encoders in Contrastive Learning
论文作者	Hongbin Liu, Jinyuan Jia, Wenjie Qu, Neil Zhenqiang Gong
科研机构	Duke University, Huazhong University of Science and Technology
会议	CCS
发表年份	2021
论文链接	https://doi.org/10.1145/3460120.3484749
开源代码

提出了通过对比学习预训练图像编码器的成员推理攻击方法 (EncoderMI);
EncoderMI 利用图像编码器对其训练数据过拟合的性质来推断数据是否在编码器的训练集中

【性质】：一个过拟合的图像编码器可能会对一个训练集中数据的不同增强方式输出更加相似的特征向量
针对Encoder过拟合的问题，作者提出了 “早期停止” 策略，权衡 EncoderMI推理精度 和 图像编码器 在下游任务的精度损失

影子模型的数据集对于推理者而言是已知的，影子模型的数据集 $D$ 可以划分为用于训练影子模型的数据集 $D^m$ （即成员数据）反之为非成员数据 $D^{nm}$ ;
若推理者能够访问目标模型以及学习策略则影子模型及其学习策略与目标模型趋于一致，反之假设影子模型的结构；

为了方便读者能够更加清晰地理解我们先从特征分类说起，特征分类器在论文中分为了三种，这三种构造方法分类依据是对相似度数据处理的处理构造推理输入特征的方式：

基于向量的分类器：将相似值按照降序的方式进行排序，构成成员推理特征的输入，采用标准的监督学习方法对在 $D^{m}$ 的数据标记为 $I N$ , $D^{nm}$ 的数据标记为 $O U T$ ，训练一个二分类模型
基于集合的分类器：类似于向量分类器，唯一的不同在于无需将相似度进行排序，相比于向量分类器，模型的训练难度比较大
基于阈值的分类器：将相似值进行平均，同时设置一个阈值，若均值不低于阈值预测为 $I N$ ，反之为 $O U T$

关注