论文阅读：Dopamine: Differentially Private Federated Learning on Medical Data

论文名字    Dopamine: Differentially Private Federated Learning on Medical Data
来源    期刊
年份    2021.1.29
作者    Mohammad Malekzadeh, Burak Hasircioglu, Nitish Mital, Kunal Katarya,
Mehmet Emre Ozfatura, Deniz Gündüz*
核心点    提出一种用于医院病人敏感数据（医学图像数据）的带差分隐私的联邦学习算法，其中本地客户端训练部分用带差分隐私的随机梯度下降算法（SGD-DP）来使得模型收敛，在服务器端使用安全聚合对全局模型进行更新（取所有客户端的梯度的平均值），文中给该算法命名为Dopamine
阅读日期    2021.2.26
影响因子    
页数    9
引用数    
引用    Malekzadeh M , Hasircioglu B , Mital N , et al. Dopamine: Differentially Private Federated Learning on Medical Data[J]. 2021.
内容总结
文章主要解决的问题及解决方案：
为解决分布在各地的医院的病人数据共享及隐私保护的问题。文中提出使用差分隐私的联邦学习方法使得各医院间可以共同训练模型，并保证病人数据的隐私性。

文章的主要工作：
①文中提出一种用于医院病人敏感数据（医学图像数据）的带差分隐私的联邦学习算法，其中本地客户端训练部分用带差分隐私的随机梯度下降算法（SGD-DP）来使得模型收敛，在服务器端使用安全聚合对全局模型进行更新（取所有客户端的梯度的平均值），文中给该算法命名为Dopamine。同时，与四种算法进行比较，四种算法分别为：（1）没有隐私保护的集中式的训练算法（Non-Private Centralized Training）；（2）带有差分隐私的集中式训练算法（Centralized Training with DP）；（3）没有隐私保护的联邦学习算法（Non-Private FL）；（4）使用并行差分隐私的联邦学习算法（FL with Parallel DP）。
②使用[1]” Deep learning with differential privacy”提出的moment accountant方法跟踪隐私预算。（但代码中使用的是RDP来跟踪隐私预算）
③文中给自己Dopamine的定位是第一个对医学图像应用带动态保证级别的DP的FL-base DPSGD算法。
④文中的隐私保护主要针对的是病人数据在训练过程中以及训练后针对服务器和任何其他第三方。
⑤文中指出使用安全聚合来更新模型，可以添加更少的噪声来保持模型的更新，以及保证隐私。
⑥对于联邦学习框架下，文中给出引理1：
在算法1中，如果每个医院k为平均梯度（经过裁剪clipped）添加高斯噪声n_k~N(μ=0,σ^2=(2ln⁡(1.25⁄δ) C^2)/(ε^2 〖|D_k^t |〗^2 K))，针对服务器端W_G^t是满足(ε,δ)-DP，针对医院（即客户端）满足(ε√(K⁄((K-1))),δ)-DP。
     算法1流程：（参数介绍。。。）（1）对于全局梯度做随机初始化；（2）对于数据集，将数据集切分为客户端数量的份数（例如，10个客户端，则数据集切分为10份不重复的数据集）；（3）对于每个医院模型，即每个客户端模型，使用SGD-DP更新模型，使用高斯机制添加噪声，方差大小为(σ^2∙C^2∙I)/K（I为单位矩阵，K为客户端数量）（原始SGD-DP算法使用的方差大小为σ^2∙C^2∙I）（σ^2∙C^2∙I为服务器端的方差大小，根据引理1求得每个客户端的方差大小）；（4）等待所有的客户端的模型更新后，求整体的隐私预算；（5）将所有客户端更新后的梯度去平均值，得到全局梯度。
⑦文中方法的缺点：文中的算法由于在每次迭代后共享模型更新而需要更多的通信，但医学数据更重要的是模型准确性和隐私保证。
⑧实验部分：数据集：kaggle比赛的一个医学图像数据集（https://www.kaggle.com/c/aptos2019-blindness-detection/data,）。网络模型：SqueezeNet。实验与①中提及的四种算法进行比较，
⑨文中算法的整体框架（画图）
⑩文中提及的未来的想法：（1）使用论文里附录D提及的安全聚合方法；（2）目前文章使用的隐私分析只允许本地进行一次（一个local_epoch）的训练，但其指出，如果能进行一次以上的训练，精度将提升3%；（3）目前的DP库不适配很多其他的DNN模型，例如：EfficientNet，而且如何使得DP训练更快是目前的一个研究方向。（4）文中希望Dopamine算法能在其他的医学数据集中训练，以及用更新颖的方法在保证隐私的情况下提高准确率。
文章内容：

实验结果：
 
 
附录：
算法1：
 
引理1的证明：
 

参考文献：
[1] Abadi, M.; Chu, A.; Goodfellow, I.; McMahan, H. B.; Mironov, I.; Talwar, K.; and Zhang, L. 2016. Deep learning with differential privacy. In Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security, 308–318.