（阅读笔记）面向加密数据的隐私保护图像分类

最新推荐文章于 2024-08-21 21:59:29 发布

你看见的我

最新推荐文章于 2024-08-21 21:59:29 发布

阅读量2.5k

点赞数 7

分类专栏：安全学习

本文链接：https://blog.csdn.net/qq_42328228/article/details/109402457

版权

安全学习专栏收录该内容

14 篇文章 16 订阅

订阅专栏

面向加密数据的安全图像分类

基础知识
安全算法
- 同态加密
- 安全多方计算
安全方案综述
- 安全模型推理
- 安全模型训练
研究展望
参考文献

基础知识

安全模型

半可信模型（诚实但好奇）：参与方均严格按照约定计算协议内容执行计算, 在不违反协议的前提下推测对方隐私信息。
恶意模型：可以使用任何攻击手段 (容许违背协议内容) 来获取对方隐私信息。

安全图像分类划分为安全模型推理（前向计算）和安全模型训练（反向传播）。

安全模型推理：本地明文训练，公开训练模型，云端（边缘端）密态推理。

在线推理：推理过程中需要用户（此处指代数据拥护者）参与并执行必要的交互计算。（目标保护图像隐私）
离线推理：用户仅需要执行图像数据预处理和上传，然后等待返回推理结果。（目标保护图像隐私）

安全模型训练：密态训练，用户本地推理或委派云端密态推理。

外包训练：用户加密上传数据至云端，云端密态下训练分类模型返回给用户。（目标保护图像隐私，保护或者不保护模型参数）
协同训练：同联邦学习，多用户利用本地数据训练本地模型（一般是共同初始化产生），不共享私有数据，引入协同服务器，每个用户上传加密模型参数或梯度，服务器执行执行密态聚合，下发全局模型或梯度，训练终止条件由用户商定。（目标保护图像隐私，保护网络模型参数和梯度，并防止通过模型参数或梯度推测出图像数据）

安全算法

同态加密

部分同态加密(PHE)：仅支持对密文执行特定的运算类型；例如Paillier加法同态，ElGamal乘法同态；
Somewhat 同态加密(SWHE)：不限制运算类型（即同时支持加法和乘法），但仅支持对密文执行有限次的运算；例如BGN；（加密过程引入噪声，每次加密增大噪声，达到一定程度导致错误，故只支持有限次）
全同态加密 (FHE): 支持对密文执行任意类型的任意次运算；例如BGV；（自举 (Bootstrapping) 技术, 可以将原密文转换为一个新的 “噪声” 更小的密文, 并保证不改变对应明文，从而突破加密次数限制）

安全多方计算

混淆电路(GC)+不经意传输(OT)
（门限）秘密共享(SS)

安全方案综述

安全模型推理

非交互方案（离线推理）

CryptoNets：全同态加密；利用多项式编码将浮点数转化为整数，利用同态加密处理多项式（含乘法和加法）；此外支持单指令多数据SIMD，可实现批量处理；
CryptoDL：全同态加密；低多项式拟合非线性函数，使得同态加密处理非线性函数成为实际；
FasterCryptoNets：全同态加密；模型压缩：网络剪枝，针对剪枝后的稀疏参数设计最大稀疏编码；
Brutzkus 等人引入迁移学习，过滤图像敏感信息[Low latency privacy preserving inference]；
Chabanne 等人添加并利用同态加密处理BN，使得网络稳定在某一分布内，为加深安全模型隐藏层数量提供可能[Privacy-preserving classification on deep neural network]；
CaRENets：全同态压缩封装方案；
E2DM：将外包矩阵运算变换分解以适应于同态密文封装；
Badawi 等人首次提出可支持 GPU 的同态加密神经网络模型 HCNN；

交互方案（在线推理）

MiniONN ²：安全两方计算（加法秘密共享）；用户和服务器各拥有一份秘密份额，在线协同计算，涉及不经意传输、离线预计算；
GAZELLE：PAHE，加法同态加密，密文封装，密文置换；
BAYHENN：结合贝叶斯网和同态加密，将网络每个参数看作一个分布而不是确定值，实现概率安全。

同态加密如何适用于深度（深层）神经网络，解决效率问题？
同态加密至安全多方计算的转化，牺牲通信开销换取计算开销。

安全模型训练

外包训练

SecureML ⁵：加性秘密共享，两个协作服务器不共谋，离线和在线两个阶段，小数部分的截断处理不影响安全比较协议的正确性，实现了逻辑回归和浅层CNN模型的训练，但存在巨大的训练计算开销和通信开销问题；
SecureNN ⁶：三台服务器，两两之间互不共谋，构造了多方矩阵计算、多方比较、多方除法等基本运算, 然后基于此实现了卷积、ReLU 函数、最大池化函数和
它们导函数的计算, 从而安全训练和推理；
CodedPrivateML ⁷：采用 Lagrange 编码技术实现秘密共享，实验仅实现逻辑回归模型；
Han ⁸ 等人首次实现了完全基于同态加密训练的图像分类模型，批量梯度下降，SIMD，多项式近似非线性函数，支持近似定点数计算的 HEAAN 同态加密方案；

协同训练

多密钥同态加密(MK-FHE) ⁹ ：每个用户利用公钥加密，服务器计算联合密文，返回密文结果，所有用户共同解密，采用双重解密机制，计算复杂度太高，是否可以考虑应用低计算需求的任务；
PDLM ¹⁰：每个用户使用各自的公钥加密图像，利用分布式双陷门公钥加密系
统实现将多密钥加密的图像转换为单一秘钥加密的图像，协同训练；
GELU-Net ¹¹：客户端和服务器的协同计算，客户端计算非线性部分，服务器计算线性部分，避免乘法计算，采用Paillier加法同态；且提出了一种基于添加噪声的安全梯度更新方法，支持多数据源的协同训练。

研究展望

安全性、分类精度和计算速度是评价图像分类模型隐私保护方案的三大指标。
使用同态加密的方案存在三个方面需要改进: 功能性(支持加法、乘法、甚至如何支持非线性函数)、时效性（加快同态加密的执行速率）和准确性（如何设计浮点数编码）。
使用安全多方计算，需要考虑安全模型假设是否过于苛刻，例如实体间不能共谋的预假设等，还需要考虑场景限制问题。
结合同态加密和深度学习场景的硬件加速研究，例如使用使用 FPGA 和 ASIC 加速计算。
模型轻量化：优化模型结构，减少训练参数量，降低参数计算复杂度。
模型压缩：模型剪枝，例如dropout；模型量化，采用低精度浮点数训练模型，或是混合精度。
神经模型搜索NAS；知识蒸馏KD等。
协同训练扩展至联邦学习场景；

参考文献

2020_密码学报_面向加密数据的安全图像分类模型研究综述
2017_CCS_Oblivious Neural Network Predictions via MiniONN Transformations （MiniONN）
Secure outsourced matrix computation and application to neural networks （变换外包矩阵运算，以适应于同态密文封装）
Sealion: A framework for neural network inference on encrypted data （加密深度学习框架，其专注于明文训练、密文推理模式，框架基于 TensorFlow 和 SEAL 库, 提供 Keras 风格的接口, 支持浮点数到加密数据类型的自动编码.）
2017_SP_SecureML A System for Scalable Privacy-Preserving Machine Learning （SecureML）
2018_IACR_SecureNN Efficient and Private Neural Network Training （SecureNN）
2019_IACR_CodedPrivateML A Fast and Privacy-Preserving Framework for Distribute Machine Learning + 2019_PMLR_Lagrange coded computing Optimal design for resiliency, security, and privacy (CodedPrivateML)
2019_IAAI_Logistic Regression on Homomorphic Encrypted Data at Scale + 2017_ASIACRYPT_Homomorphic encryption for arithmetic of approximate numbers （基于同态加密的安全模型外包训练）
2017_FGCS_ Multi-key privacy-preserving deep learning in cloud computing (基于MK-FHE的多方协同安全模型训练)
2018_TSC_ PDLM Privacy-preserving deep learning model on cloud with multiple keys (PDLM)
2018_IJCAI_GELU-net A globally encrypted, locally unencrypted deep neural (GELU-Net)