自监督学习模型的成员推理攻击
论文信息
论文标题 | EncoderMI: Membership Inference against Pre-trained Encoders in Contrastive Learning |
---|---|
论文作者 | Hongbin Liu, Jinyuan Jia, Wenjie Qu, Neil Zhenqiang Gong |
科研机构 | Duke University, Huazhong University of Science and Technology |
会议 | CCS |
发表年份 | 2021 |
论文链接 | https://doi.org/10.1145/3460120.3484749 |
开源代码 |
摘要总结
- 提出了通过对比学习预训练图像编码器的成员推理攻击方法 (EncoderMI);
- EncoderMI 利用图像编码器对其训练数据过拟合的性质来推断数据是否在编码器的训练集中
【性质】:一个过拟合的图像编码器可能会对一个训练集中数据的不同增强方式输出更加相似的特征向量
- 针对Encoder过拟合的问题,作者提出了 “早期停止” 策略,权衡 EncoderMI推理精度 和 图像编码器 在下游任务的精度损失
基本方法
- 推理方构建一个推理分类器,其作用是采用输入的相关特征来预测是否为目标模型的训练集
- 【相关特征】:基于目标模型(Encoder)对两种不同增强方式的数据所输出的特征向量的相似度作为成员推理输入的特征
训练“影子模型”
- 影子模型的数据集对于推理者而言是已知的,影子模型的数据集 D D D 可以划分为用于训练影子模型的数据集 D m D^m Dm(即成员数据)反之为非成员数据 D n m D^{nm} Dnm;
- 若推理者能够访问目标模型以及学习策略则影子模型及其学习策略与目标模型趋于一致,反之假设影子模型的结构;
提取推理数据特征向量
- 从“影子模型”中提取数据集 D D D 的特征,同时对数据集 D D D 的每一个特征采用不同方式的增强方式进行增广;
- 在“影子模型”数据集中,提取每一个数据的特征向量及其增强数据的特征向量,对同一个数据的不同类型的增强数据特征值计算相似度
构造推理输入特征及分类器
为了方便读者能够更加清晰地理解我们先从特征分类说起,特征分类器在论文中分为了三种,这三种构造方法分类依据是对相似度数据处理的处理构造推理输入特征的方式:
- 基于向量的分类器:将相似值按照降序的方式进行排序,构成成员推理特征的输入,采用标准的监督学习方法对在 D m D^{m} Dm 的数据标记为 I N IN IN, D n m D^{nm} Dnm 的数据标记为 O U T OUT OUT,训练一个二分类模型
- 基于集合的分类器:类似于向量分类器,唯一的不同在于无需将相似度进行排序,相比于向量分类器,模型的训练难度比较大
- 基于阈值的分类器:将相似值进行平均,同时设置一个阈值,若均值不低于阈值预测为
I
N
IN
IN,反之为
O
U
T
OUT
OUT