【文献阅读】Label Inference Attacks Against Vertical Federated Learning

【文献阅读】Label Inference Attacks Against Vertical Federated Learning

这篇文章提出了三种针对纵向联邦学习的标签推理攻击：

1. 被动标签推理攻击（补全本地模型使之具有推理能力）
2. 主动标签推理攻击（主动地增加本地模型在全局的权重）
3. 直接标签推理攻击（直接通过梯度符号判断标签）

并利用常见的VFL防御方法对本文提出的攻击手段进行了测试，结果表明本文提出的攻击手段具有良好的表现。

1. 背景

1.1 架构

如图所示公司A和公司B的数据库中有部分用户ID重叠，且他们各持有不同的特征。使用纵向联邦学习训练预测模型，其中B为服务器，持有标签、顶部模型和底部模型；A只持有底部模型，并为B提供特征训练顶部模型。

训练流程：A和B根据本地特征进行训练，对应的底部模型生成一个中间结果发送给B->B的顶部模型接收到中间结果后，对结果进行聚合，计算误差，将梯度返回给A和B的底部模型->底部模型根据梯度计算本地参数的更新

1.2 威胁模型

公司A 是curious-but-honest，目的是对推理出B的标签。

在无模型分割的VFL中，由于VFL的特性，A只能控制联邦模型的一部分（A的底部模型），这一部分模型只能接收到来自服务器的一部分梯度，并且没有预测能力

2. 标签推理攻击

2.1 VFL中可能的隐私泄露点

底部模型的泄露

VFL中，在训练阶段和预测阶段，威胁者可以完全掌控其底部模型。底部模型提供一个具有代表性的特征表示以供预测，一个恶意底部模型的表达能力取决于它的训练程度和它与最终预测层的接近程度

梯度的泄露

威胁者可以直接基于接收到的梯度进行标签推理攻击