008 Task-Agnostic Privacy-Preserving Representation Learning via Federated Learning（隐私对抗训练PAT）

借助联邦学习的任务不可知的隐私保护

方法： PAT（隐私对抗训练）算法，从特征中隐藏隐私信息（模拟了努力从提取的特征中推断隐私属性的对手和旨在保护用户隐私的防御者之间的博弈）——>提出MaxMI算法保留原始信息（目的是最大化原始数据特征之间的相互信息，以及私有信息与保留信息之间的联合）

目的： 保护有匿名中间表示的数据隐私

结论： 能够很好的实现隐私—效用权衡

局限性：保留原始信息的过程也有可能导致隐私泄露、Google Now只是将本地信息特征化可能并不准确，比如每个工作日都要上学，将学校设为工作地点，为我规划上班路线

---

来源于大众的数据包含大量隐私信息——>提出TAP（任务不可知的隐私保护表示学习框架）来保护有匿名中间表示的数据隐私——>①学习一个可以从中间表示中隐藏隐私信息的特征提取器②同时最大限度地保留嵌入在原始数据中的原始信息，供数据收集器完成未知的学习任务。——>为了保护隐私，用联邦学习训练特征提取器——>用两个数据图像集和一个文本数据集对TAP进行广泛评估——>能够很好的实现隐私—效用权衡

用于人脸识别、计算机视觉的深度神经网络（DNNs）的训练需要大量的数据，但是数据中包含了大量的个人隐私。——>需要设计一个既能保护隐私，同时不妨碍深度神经网络模型的方法

1.一个显而易见并且被广泛应用的方法是：将原始数据转换为面向任务的特征，用户只将提取的特征上传到服务的提供者（例如 Google Now和Google Cloud）——> 模型反演攻击 的最新进展已经证明①对手可以利用获得的特征来重构原始图像②提取的特征也可以被对手利用来推断如性别、年龄等的隐私信息——>2.在将特征上传到服务提供商之前，先对特征进行降维和噪声注入，会造成不可忽视的效用损失——>受生成式对抗网络（GAN）的启发，提出了几种对抗学习方法：从原始图像中学习模糊特征，但是这种方法针对的是已知的初级学习任务设计的，但是初级学习任务可能是未知的或变化的，这限制了来源于大众的数据的适用性——>3.本文：将用户的原始数据局部化为一个中间表示，该表示可以去除用户的隐私信息，同时保留主要学习任务的区别特征

TAP不需要主要学习任务的知识，因此直接应用现有的对抗性训练方法是不现实的——>为了解决 除去所有需要保护的相关私人信息，同时保留所有其他未知的初级学习任务 的问题——>提出了一种混合的学习方法来学习匿名的中间表示——>双重学习目的：①在特征中隐藏私人信息②最大限度的保留原始信息——> PAT（隐私对抗训练）算法 ，从特征中隐藏隐私信息（模拟了努力从提取的特征中推断隐私属性的对手和旨在保护用户隐私的防御者之间的博弈）——>提出 MaxMI算法 保留原始信息（目的是最大化原始数据特征之间的相互信息，以及私有信息与保留信息之间的联合）

---

相关工作：

数据隐私保护：①k-匿名、l-多样性、t-封闭性，只适用于保护静态数据库中的敏感属性②差分隐私的目的是在用户的真实数据记录中加入随机噪声使两个任意的真实数据记录产生相同噪声数据记录的概率很接近；本文的目标是隐藏私有信息使对手无法通过训练深度神经网络（DNN）准确推断受保护的隐私的特征③利用降维、添加噪声、暹罗微调（Siamese fine-tuning）的组合，没有以系统的方式在隐私和实用之间做到权衡

视觉隐私保护：①去识别，通过改变原始图像②高斯模糊③身份模糊——>虽然有效，但是限制了利用数据来训练深度神经网络（DNN）模型④基于加密的方法，需要专门的深度神经网络（DNN）模型来直接对加密数据进行训练，阻止了通用数据集的发布并且引入了大量的计算开销

使用对抗网络的隐私和效用的权衡：①为学习编码函数设计了一种对抗学习方法，以防止对编码特征的特定属性进行推断②引入对抗网络来模糊原始图像，使攻击者无法成功进行图像识别③设计了一个对抗框架来明确学习原始视频输入的退化变换，旨在平衡目标任务性能和退化视频上相关的隐私预算④使用对抗网络学习模糊特征的方法，模糊特征只提交给服务提供商进行推理，攻击者不能使用收集的模糊特征训练对手分类器，来准确推断用户的私有属性或重建原始数据——>都是使用对抗网络来混淆原始数据或特性，防止隐私泄露，针对特定的学习任务（人脸识别、活动识别），需要掌握初级学习任务的知识

TAP的不同：①通用②不需要了解初级学习任务

---

框架设计：

①概述

参与方：用户、对手、数据收集者

数据收集器为用户提供了指定需要保护的私有属性的选项

原始数据x 私有属性u 可以在隐藏u的情况下从x中提取特征z 

假设一个对手可以通过收集z来训练DNN模型，然后训练后的模型以用户提取的特征z作为输入，并推断出用户的私有特征属性。

PAT最大挑战：学习特征提取器

提取器的最终目标：

目标1：保证提取的特征不包含私有属性

目标2：保留尽可能多的原始数据信息进行维护初级学习任务的实用性

因此，设计了一种混合学习方法来训练特征提取：隐私对抗训练（PAT）算法和MaxMI算法，该方法由联邦学习过程中每一位参与者在本地执行。

PAT实现目标1，模拟了努力从提取的特征中推断隐私属性的对手和旨在保护用户隐私的防御者之间的博弈，利用PAT对特征提取器进行优化，加强特征提取器对被提取的特征z隐藏私有属性u。

MaxMI实现目标2，通过对特征提取器进行MaxMI训练，可以使特征提取器最大限度地利用 原始数据x的信息 和 私有属性u与被提取特征z的联合信息 之间的 互相信息。

三个神经网络模型：特征提取器、对抗分类器、互相信息估量器

②PAT（隐私对抗训练）算法

③MaxMI（最大化互相信息）算法

④联邦学习