联邦学习周记｜第四周

论文：Active Federated Learning

链接
将主动学习引入FL，每次随机抽几个Client拿来train，把置信值低的Client概率调大，就能少跑几次。

论文：Active learning based federated learning for waste and natural disaster image classification

链接
篇幅长且无价值 只是复述了一下AL

论文：Federated Active Learning (F-AL): an Efficient Annotation Strategy for Federated Learning

链接
跟上篇差不多 只是简单结合了下FL和AL 并称之为FAL

论文：Communication-Efficient Distributed Learning via Lazily Aggregated Quantized Gradients

链接
懒惰上传梯度，通过减少信息的比特以及对于过小的更新选择不上传更新以降低通信代价

论文：Provable Defense against Privacy Leakage in Federated Learning from Representation Perspective(CVPR2021)

链接
指出了FL上传梯度和参数也会导致隐私泄漏，并提出通过添加噪声的方式对隐私进行保护。
具体的，论文指出在分类任务中，某一分类的一个数据在train完之后会对FC层也就是最后一个分类层的那一类的梯度产生较大影响，这很容易造成泄漏，所以就在最后一层添加一点噪声，并且文章通过数学方式证明了这不会对FL的性能产生什么影响。

论文：FedDG: Federated Domain Generalization on Medical Image Segmentation via Episodic Learning in Continuous Frequency Space(CVPR2021)

链接
指出了传统FL在没见过的数据分布上性能较差，并提出了一个域泛化模型。
具体的，文章指出传统的DG（域泛化）在FL隐私保护的背景下作用有限，提出将原始数据通过快速傅立叶变换转化到频率空间中，并通过连续插值的方法桥接多个数据分布空间，以加强模型在未见过的数据分布空间的性能。
更加具体的，每个客户端首先将原始数据通过FFT分割为相位谱和振幅谱，相位谱存储数据的大体框架，振幅谱存储着数据的具体细节。比如原始照片是一座山，相位谱就代表着光滑的山丘，振幅谱就代表着山上的一些坑坑洼洼和草木，二者加起来是一座完整的山，可以通过逆傅立叶变换(IFFT)将其从频率空间变换回原始图片。但如果手上只有振幅谱或相位谱的其一，就无法变换回去，这保证了隐私性。本论文只拿出振幅谱用于Clients的相互通信，每个Client拿自己的相位谱和其他Client的振幅谱合成(当然振幅谱还得插值)，再通过IFFT变换回一张全新的照片，以此加强模型的泛化能力。

论文：Model-Contrastive Federated Learning(CVPR2021)

链接
提出了MOON算法，损失函数额外加上这一步模型和上一步模型的差值，加强一致性和稳定性。

论文：Multi-institutional Collaborations for Improving Deep Learning-based Magnetic Resonance Image Reconstruction Using Federated Learning(CVPR2021)

链接
论文聚焦于CT拍片这个问题，指出平常完整拍个片时间太长了，提出稍微扫描一下拍个大概然后再用AI补全（重建）。
每个Client上的损失函数是重建欠采样图片后的图与全采样图片之间的差值（欠采样的图就是少扫描一会，全采样的就是完整的扫完CT）。同时针对FL中可能存在的异质问题而导致每个Client重建，文章还提出了一个识别器用于分辨两个站点间重构出来的图像的特征区别，并将loss加上这个识别器的值，最终跑到识别器无法分辨出不同站点间的区别就算结束了，这解决了异质性的问题。

论文：Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning(CVPR2022)

链接
提出了FedAlign，就是用类似知识蒸馏的方法对模型最后一层进行瘦化，使其性能提升，并且约束Lipschitz常数以达到输出的平滑和鲁棒性。

论文：Layer-wised Model Aggregation for Personalized Federated Learning(CVPR2022)

链接
层级聚合的个性化联邦学习。提出了一个三维的权重矩阵
权重矩阵由超网络得出，最终的model就是各个Client上的model乘上权重矩阵相加。论文由提出了一个改进，对于不重要的层就不参与通信了，这样可以节省通讯成本。