FedDG: Federated Domain Generalization on Medical Image Segmentation

FedDG:

论文地址：https://arxiv.org/abs/2103.06030
此篇论文出自香港中文大学计算机科学与工程学院，香港科技大学医学院。

引言

1、联邦式的学习允许多个医疗机构协作学习一个具有隐私保护的共享预测模型。
（多个数据源能够提升训练模型的泛化能力）
2、在临床部署中，联合训练的模型应用于模型训练数据来源以外的未知医院时，仍然会出现性能下降的情况。（数据仍存在局部性）
3、本文指出并解决了一种新的联合域的泛化问题的设定，该问题就是如何从多个分布式源域学习联合模型，从而推广到未知的目标域。（本文的意义）
4、本文提出了一种新的方法，名为连续频率空间中的联邦学习(ELCFS)，它使每个客户端能够在具有挑战性的数据分散化约束下利用多源数据分布。通过一种有效的连续频率空间插值机制，以隐私保护的方式在客户端之间传输信息。（方法）
5、利用转移的多源分布，我们进一步仔细设计了一个面向边界的情景学习范式，使局部学习暴露于域分布的转移中，特别是满足医学图像分割场景中模型泛化的挑战。本文提出的方法在两个医学图像分割任务（视盘视杯和前列腺CT图像）上的有效性优于SOTA。（效果）

方法

本文从联合域泛化的公式及其在医学图像分割场景中面临的挑战开始。然后描述了利用连续频率空间(ELCFS)来明确地应对这些挑战。

3.1.生成联合域

准备工作：

——定义 :（X, Y）分别对应训练数据的图像和Ground_truth, S = { Si ……}, 为 k个数据源的集合。本文提出的FedDG的目标在于能够让模型学会未知的分布
$$f(\theta ):X\to \gamma$$
这个分布是k个数据源对应的域，
$$S^k=(x_i^k,y_i^k),i\in （1，N^k）$$
这样，模型就能够学会在未知的域中扩展，即考虑到未知的情况，从而获得更优，更具有鲁棒性的模型。

挑战

伴随着未知数据域的生成，我们希望得到一个能够学习到潜在数据分布空间的网络。然而，在特定的医学图像分割场景中的联邦设置为此带来了几个挑战。

首先，FL中的多源数据被分布存储，每个客户端的学习只能访问其各自的局部分布，这限制了充分利用多源分布来学习可推广的参数。

其次，虽然FL已经合作了多源数据，但从不同临床地点获得的医学图像可以呈现出很大的异质性。这导致了协作数据集之间的不同分布，这不足以确保在更连续的分布空间中的域不变性，也不足以在复杂的临床环境中获得良好的通用性。

第三，医学解剖学的结构通常在其边界区域周围呈现出高度的模糊性，这对以前的DG（domain generation）技术提出了挑战，这些技术通常对这些模糊区域的特征的领域不变性缺乏保证。

连续频率的空间插值

这个方法是针对去中心化数据集的限制，（数据集的分布不统一，出现分布不同的情况），本文的解决思路是交换各个局部节点之间的分布信息，这样，每个局部节点就饿能够获得来自多个数据源的数据分布，来训练本地的参数。但是，由于分享数据集是禁止的，

• 故 本文
  提出利用频率空间中固有的信息，从而使其能够分离数据的分布（或样式）。来自原始图像的信息将在客户端之间共享，而没有隐私泄露。
  感觉就是 你不用给我数据，给我分布就行。
  具体而言 通过傅里叶变换，考虑到样本 x∈ R(H x W x C) C = 3 RGB 图像 C= 1 灰度图。看公式：
  $$F(x_i^k)(u,v,c)=\sum _h^H\sum _w^W{x}_i^k(h,w,c)/e^{(}j\ast 2\ast \Pi \ast (h\ast u/H+w\ast v/W)）$$

该频率空间信号F可以进一步分解为振幅谱点 A ∈H×W×C和 相谱点 P ∈H×W×C，分别反映低电平分布和高级的语义。
为了交换分布信息，先构建一个分布平台，每一个都是其对应数据集的分布，而这bank的作用就是为了使得所有的局部学习块共享的分布知识框架。

第二步： 本文设计了一个连续性的空间插值机制，为了将多源数据集的分布信息同步到局部分布信息。

• 给client k 处的局部图像$｛x_i^k｝$，我们可以用分布组 A 中的一些低频分量，而它的相位谱不影响保留语义内容。因此，我们可以生成具有转换外观的图像，并表现出其他客户的分布特征。因此，我们可以生成具有转换外观的图像，并表现出其他客户的分布特征。更重要的是，我们不断地在局部数据的振幅谱和其他域的传输振幅谱之间进行插值。这样，我们就可以为每个本地客户端丰富已建立的多域分布，从而受益于一个具有光滑分布变化的专用密集空间。
• 在形式上，这是通过从分布bank 随机对振幅谱项 A 进行采样，然后通过在$A_i^k$和$A_j^n$之间插值合成一个新的振幅谱。设* M=✶(h，w)∈[−αH：αH，−αHαW：αW]**是一个二进制掩码，它控制要交换的幅谱内低频分量的尺度，其值在中心区域为1，在其他地方为0。
• 具体公式如下

面向边界信息的情景学习

局部信息块的学习

使用元学习的Diceloss，其实就是带参数的DL。

面向边界的元结构优化

整体的学习对象

这几个损失函数的写法值得借鉴和思考，为什么要这样去设计以及实现的方法和策略。

实验结果分析

像这种表格型的数据，看看就可以了，很明显，经过联邦学习的调整，不同源的医学图像之间的差距就体现出来，而数据虽然经过编码，这样的模型训练的得到结果仍然是喜人的。

在经过简单的查看之后，本文采用的依然是最有代表性的UNet。所以这里的训练方法是值得我们学习的，以及本文所提出的损失函数和优化对象的方法。希望各位读者有所收获，如果不明白请仔细查阅github中的代码，代码地址附上：https://github.com/liuquande/FedDG-ELCFS

各位读者大大，有所收获就点个赞吧！！！