[论文精读]PrivEdge: From Local to Distributed Private Training and Prediction

最新推荐文章于 2024-09-27 10:58:53 发布

0x211

最新推荐文章于 2024-09-27 10:58:53 发布

阅读量858

点赞数 29

分类专栏：论文精读文章标签：人工智能

本文链接：https://blog.csdn.net/m0_52911108/article/details/142319991

版权

论文精读专栏收录该内容

10 篇文章 0 订阅

订阅专栏

中文译名：PrivEdge：从本地到分布式的隐私训练和预测

期刊：IEEE Transactions on Information Forensics and Security

DOI：10.1109/tifs.2020.2988132

ISSN：1556-6013, 1556-6021

发布链接：PrivEdge: From Local to Distributed Private Training and Prediction | IEEE Journals & Magazine | IEEE Xplore

阅读原因：安全性相关、方班需要

研究背景

Machine Learning as a Service (MLaaS)应用广泛，但是其安全性可能得不到保障，体现在当服务提供商或用户在训练或预测期间从数据或模型参数中了解到另一个用户的隐私信息时,可能会发生隐私侵犯。

MLaaS本身存在的问题：

1.集中式学习所有隐私数据需要加密处理，这样处理的安全性不够高，也容易降低准确率

2.分布式学习用户隐私极易被其他用户侵犯

别人的研究：分布式单类学习

解决的问题：把多类分类器分解成为一组在本地训练的单类分类器，解决了灾难性遗忘和用户好奇问题。

存在的缺陷：服务商可能恶意使用用户训练好的分类器提取其特征来还原出用户的隐私；服务商需要收集数据，但是遇到隐私数据不好进行处理；本地模型的参数明文上传，服务提供商可以访问这些明文参数，反向获取用户隐私（第一点问题）

本文的贡献

提出新技术PrivEdge，把用户建模为一个独特的类，提出了单类重构对抗网络one-class Reconstructive Adversarial Networks (RANs)

功能：使用户在本地进行隐私训练，无需公共的预训练特征提取器

好处：保护参与训练的用户的隐私；保护提交数据的用户的隐私；不会明文交换数据或者模型参数。

核心方法

1.本地训练

PrivEdge 引入了一种一类生成对抗网络RANs，该网络由一个重构器（reconstructor）和一个鉴别器（discriminator）组成。每个用户使用自己的私有数据本地训练一个 RAN，模型的输入是私有数据集，输出是重构的图像，通过优化重构误差和对抗损失，确保生成的图像与输入图像尽可能相似。

一类分类器（One-Class Classifier）：每个用户被视为一个独立的类，RAN 的目标是学习如何重构属于该类的数据。通过使用卷积自编码器来压缩图像并重构，确保生成网络可以根据输入输出非常接近的图像。
私有训练：PrivEdge 使用本地的训练方法，每个用户在本地独立训练他们的一类生成网络，不依赖于预训练的公共特征提取器，这样可避免数据上传到服务提供商暴露私有信息。

1.1灵感来源

框架收到生成对抗网络GANs的启发。但是有如下区别：

重构器输入的是一组乳香而不是噪声
重构器旨在重构输入，也就是使得输入和输出的图像相似
使用均方损失代替负对数似然，以提高训练的稳定性和重构图像的质量。

2.分布式预测

在预测阶段，PrivEdge 引入了两方安全计算模型（Two-Party Computation, 2PC），其中两个不相互串通的服务器（服务提供商和监管者）分担计算任务，但不会学习用户的私有数据。

多方计算（MPC）：为了保护隐私，RAN 的模型参数在多个不相互串通的服务器之间进行秘密共享，这样预测过程中的计算通过 MPC 协议在两个服务器之间执行，确保私有数据和模型参数不会暴露。
安全推理：在推理过程中，服务提供商和监管者合作，通过秘密共享和 Yao’s Garbled Circuit 技术安全地执行卷积和激活函数等计算。