ECCV2022 | Personalizing Federated Medical Image Segmentation via Local Calibration

代码：https://github.com/jcwang123/FedLC

ECCV2022 | Personalizing Federated Medical Image Segmentation via Local Calibration

摘要

本文提出了一个带有局部校准的个性化联邦框架（LC-Fed），以利用特征级别和预测级别的站点间不一致性来提高分割性能。分别由个性化通道选择(PCS)模块和头部校准(HC)模块实现。

联邦学习

联邦学习（Federated Learning）是一种分布式机器学习技术,其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练。在不需要交换本地个体或样本数据的前提下，仅通过交换模型参数或中间结果的方式，构建基于虚拟融合数据下的全局模型，从而实现数据隐私保护和数据共享计算的平衡。在医学图像处理时，由于对患者的隐私保护，在多个站点上完成数据通信通常是不可行的，联邦学习解决了此问题。

一般联邦学习

每个本地客户端从自己的数据训练模型，将本地客户端的模型参数聚合到全局服务器，通过平均来自本地客户端的模型参数，在服务器中生成一个单个的全局模型，并将更新后的参数广播给它们。不足：由于数据的异质性，单一的全局模型并不能在所有的本地站点上都表现得很好，因为本地站点的底层数据样本分布之间可能有很大的不同。如，在医疗场景中，潜在的模型退化更为严重，即扫描仪、成像协议、患者群体的差异带来了数据分布的高度多样性。

个性化联邦学习

为了解决前面的问题，引入了个性化联邦学习，为设置中的每个参与客户提供个性化的全局模型。FedRep，联邦下最新的个性化框架，它将模型分为共享层和个性化层。前者通过全局平均进行更新，而后者只使用局部数据（sit）进行训练。不足：进行本地训练时仍然只考虑站点内的信息，而忽略了利用站点间的不一致性，来自其他站点的宝贵知识必然会丢失。

LC-Fed个性化联邦分割框架

改进：探索站点间的不一致性，从特征水平和预测水平校准局部学习。

Architecture

在PCS中，为每个站点提出了一个独特对比性的站点嵌入，通过它，计算出一个通道选择图来校准特征表示。在HC中，收集所有站点的预测头，并将它们的不一致作为预测水平的不一致来校准分割图。

Locally Calibrated Federation Paradigm

为了学习K个独特的本地模型，LC-Fed在每一轮通信中的本地站点更新和全局服务器更新之间交替进行。本地站点更新的时候，所有本地站点基体部分接收相同的参数θt−1，而预测头的参数由本地训练本身初始化。每个站点将使用本地数据(Xk,Yk)和嵌入ξk的公式化站点更新模型以获得最优解，在所有本地站点的更新完成后，全局服务器然后收集表示部分θt的参数，以更新全局模型。

Personalized Channel Selection via Contrastive Site Embedding

为了简化通信成本，将站点嵌入初始化为onehot，将长度设置为站点号K。首先扩展了站点嵌入的长度，以与纹理语义保持平衡，以获得更好的训练稳定性，使用了两个完全连接的层，其中有实例规范化和Relu激活，来完成扩展。然后，对特征f的每个通道进行全局平均，以生成一个通道描述符，可以表示丰富的纹理信息，并节省计算成本。

Disagreement-aware Head Calibration

首先利用非最大抑制（NMS）操作来识别这些区域，然后筛选出重要区域，使用高斯滤波以扩大注意区域，这也有利于稳定训练过程。

实验

与 baseline(Local Train)进行了比较，其中每个本地模型都是使用其自己的数据进行训练的。
内息肉的结果进一步支持了该方法的进步。PRR-FL性能降低因为训练崩溃问题

对于RIF数据集，FedAVG显示出一个接近于“Local Train”的性能。原因是在RIF数据集中，每个本地站点的数据都足以训练出一个较好的模型。联邦学习提供的帮助有限。

展示了这两个模块的互补优势

如果没有任何联邦学习过程（LT），在具有挑战性的情况下就很难确定目标。在大多数情况下，使用联合（FT）可以提高分割效果，而在一些样本上则会失败。相比之下，本文的方法始终产生最好的分割掩模
推荐阅读：
Auto-FedRL: Federated Hyperparameter Optimization for Multi-institutional Medical Image Segmentation （ECCV2022）
paper: https://arxiv.org/abs/2203.06338
code: https://nvidia.github.io/NVFlare/research/auto-fed-rl