组会 | RELAXLOSS: DEFENDING MEMBERSHIP INFERENCE ATTACKS WITHOUT LOSING UTILITY

Caffiny

已于 2022-03-08 02:18:34 修改

阅读量503

点赞数 1

分类专栏：论文文章标签：神经网络机器学习深度学习

于 2022-03-08 00:51:53 首次发布

本文链接：https://blog.csdn.net/JackyAce6880/article/details/123343499

版权

3 篇文章 0 订阅

订阅专栏

这篇博客介绍了RELAXLOSS算法，该算法旨在在不牺牲分类精度的情况下防御会员推理攻击（MIA）。通过设定阈值α，当损失函数大于阈值时进行梯度下降，小于阈值时在偶数epoch进行梯度上升或使用软标签更新模型，以防止过度拟合训练集，拓宽决策边界。软标签的使用能防止差异化，增强模型的泛化能力。

摘要由CSDN通过智能技术生成

20220304 组会记录

《RELAXLOSS: DEFENDING MEMBERSHIP INFERENCE ATTACKS WITHOUT LOSING UTILITY》

Under review as a conference paper at ICLR 2022

文章做的工作就如同标题说的, 在防御MIA(Membership Inference Attacks)的同时, 也不损失分类精度

在 $n$ 个 $e p o c h$ 中

自己设定一个阈值 $\alpha$ , 当计算交叉熵损失在 $\mathcal{L}(\theta)\geq\alpha$ 时, 就对损失值做梯度下降更新模型参数 $\theta$
假如此时 $\mathcal{L}(\theta)\lt\alpha$ 时
1. 当此时 $e p o c h$ 为偶数时, 则对模型参数 $\theta$ 做梯度上升更新
2. 当此时 $e p o c h$ 为奇数时, 则通过以下方法对模型参数 $\theta$ 进行以下更新
  1. 当前样本 $x_i$ , 经过模型的输出得到 $p_i=f(x_i;\theta)$
  2. 对样本 $x_i$ 构建软标签得到 $t_i$ , 其中 $t_i$ 是样本 $x_i$ 的软标签
  $t^{c}_{i}=\left\{ \begin{array}{l} p_i^c & & {if \quad y_i^c=1}\\ (1-p_i^{gt})/(C-1) & & {otherwise} \end{array} \right.$
  
  论文中算法流程图中给出的是 $1-p_i^c)$ , 但是真正的应该是 $1-p_i^{gt})$
  
  举个例子就是, 现在 $x_i$ 的硬标签 $y_i$ 是 $[0, 0, 1]$ , 对应此时模型输出的 $p_i$ 是 $[0.1, 0.2, 0.7]$ , 那么可以得到
  
  $t_i^0=t_i^1=(1-0.7)/(3-1)=0.15 \qquad t_i^2=0.7$
  1. 用软标签 $t_i^c$ 计算交叉熵损失
  $\begin{aligned} \ell (\theta,z_i)=-\sum_{c=1}^C{sg[t_i^c]log{(p_i^c)}} \\ \mathcal{L}=\frac1B\sum_{i=1}^B{\ell(\theta,z_i)} \end{aligned}$
  1. 根据用软标签计算出来的交叉熵损失 $\mathcal{L}$ 进行梯度下降更新模型参数 $\theta$
算法流程图:

在 $\mathcal{L}$ 小于 $\alpha$ 后, 为什么要梯度上升?
1. 防止"过于拟合"训练集
2. "拉宽"决策边界
3. 我们猜测作者是想通过对训练集放松拟合, 以尝试去提高在测试集上的精度
4. 但是没有确切理论可以证明在训练集上"放松"拟合, 可以提高泛化性
在 $\mathcal{L}$ 小于 $\alpha$ 后的另外一个操作, 为什么要用软标签? 而且要将非真实类"拉平(平均)"
1. 也是和上述第一点提到的一样, 并不想梯度"直直地"往着 $[0, 0, 1]$ 的方向走去拟合训练集
2. 对非真实类"拉平"通俗地讲是防止"差异化", 防止成员推理攻击(MIA)
3. 最终, 模型并非往着 $[0, 0, 1]$ 的方向走, 也不是往着 $[0.1, 0.2, 0.7]$ 的方向走, 而是往着 $[0.15, 0.15, 0.7]$ 的方向走
4. 这样做的目的无非也就是防止对训练集"过于拟合", 以达到在测试集上"有更高精度", 并且防止"差异化"过大而受到MIA

此为组会记录, 并未仔细读过该篇论文, 且对 MIA 成员推理攻击并未有过多了解, 因此该篇文章仅作记录.

论文下载

关注

专栏目录