SCALABLE PRIVATE LEARNING WITH PATE论文笔记

该论文源代码可以在https://github.com/tensorflow/privacy/tree/master/research

找到，同时2017PATE也可以在上面找到。

前言：

阅读本文前，默认对2017ICLR的PATE方法有所了解，若有不了解PATE的读者，建议去翻阅上一篇博客。

方法：

该论文发表于2018的ICLR，是原作者对2017ICLR的PATE方法的改进。

简单的回顾一下PATE的工作。

 在机器学习领域中，模型的训练需要大量的数据。在一些医疗，金融等领域，这些数据通常有着高隐私的特点。比如一项疾病的预测，这类数据和病人的隐私息息相关。当前的一些攻击手段例如模型反演，成员推理攻击等可以从模型中反推出训练数据（一个样本在或者不在训练数据中，如一个人在一个患病数据集中，那么该患者患病的事实被泄露）。

PATE方法将私有数据集划分为N个不相交的数据集，然后独立于这些数据集训练不同的模型，得到N个教师模型。在部署经过训练的教师模型时，我们记录每个教师模型的预测结果，对预测结果进行聚合，并在聚合结果中加入符合差异隐私的拉普拉斯噪声，以保护隐私信息。然后，使用聚合教师模型对公共数据进行注释，将加入噪声后投票数量最高的一类作为公共数据的伪标签，并传递知识来训练学生模型。

然而，迄今为止，PATE仅在简单的分类任务&#