Improving unsupervised stain-to-stain translation using self-supervision and meta-learning

期刊：Journal of Pathology Informatics

Nassim Bouteldja

摘要

该论文利用CycleGANs用于肾脏病理图像的染色转换，并且提出了两个新颖的方法来改善翻译性能。首先，将一个初级的分割网络结合到cycleGAN用于自监督应用导向性通过语义知道优化的翻译网络；其次，在翻译输出处结合了额外的通道来间接分离人工的元信息。

方法

在该论文的应用场景中，我们假设一个预训练的（分割）模型 S：P->L，它适用于特定染色P的分析。我们的目标是使它（模型S）适用于由cycleGAN生成的任意染色A。

Cycle-GAN

损失函数三类：

两对生成器和判别器的损失：进行图像风格转换

Cycle consistency（循环一致性损失）：保证图像内容的一致

Identity loss（将PAS真实图像输入到G（CD31->PAS）的生成器中生成模拟图像，将模拟图像与真实图像进行计算损失）：保证图像转换的色调一致

自监督

如图，将提出的分割网络S结合到CycleGAN中。

在训练迭代中，只有PAS染色图像，它们的重建recon和identity被进一步通过分割器S处理。因此我们假定真实样本的分割结果代表ground truth，我们利用他们作为目标用于自监督通过惩相应预测与它之间的差异。损失函数：

若分割器只在真实样本上训练，那他对模拟图像的适用性可能会受影响。尽管模拟样本和真实样本在视觉上有相似之处，但由于对抗性训练的不完善，翻译器仍然可以将非自然信息和噪声编码到模拟图像中。由于分割器S不熟悉这类信息，因此可能会影响性能。为了防止这种情况，我们提出的分割损失Lseg鼓励生成器将其翻译投射到S的学习源分布中，因此翻译后的图像可以更好地被S分析。其次，优化Lseg也有助于利用语义特征更好地学习类的概念和对应关系。预测的分割目标在语义上引导生成器通过注意它们的映射来正确地转换不同的类结构。这种面向应用程序的指导可以特别解决在转换代表性不足的类时的困惑。

从目前看来，模型整体损失函数可以表示为：

Meta-learning

CycleGANs由两个生成器组成。A->P和P->A之间的映射都表示双射。然而，这并不适用于通用和免疫组化染色之间的未确定转换。免疫组化染色可以提供分子信息，特别是兵力结构活染色特异性的任意伪影，不能从通用染色推断。

为了解决这个问题，作者提出增加三个额外的特性通道（于图像大小一样），用于存储有用的元信息。这为生成器提供了隐式地将人工元信息转换图像域的机会，从而使它们更真实，从而更好地供后续模型使用。

Evaluation

任务目标使提高已经存在的分割模型S对任意未知染色分割的适用性。

为了评估其分割精度，对于一组测试图像t属于T，相应的二维实例预测p(t,j)和ground truth g(t,j)用i=0,…n(pt)和j=0,…n(gt)编号，对于每一类别的实例级别的Dice 分数用一下公式计算：

t:第t张测试图像

P(t,i)：第t张图像第i个预测

i=0,…n(pt)

n(pt)：预测实例的个数

j=0,…n(gt)

n(gt)：真实实例的个数

g(t,*)：代表与预测实例p(t,i)重叠最大的真实实例

p(t,*)：代表与真实实例g(t,i)重叠最大的预测实例

数据集

内部数据集总共包括85张WSIs,分别为53张PAS图像，8张CD31图像，7张aSMA图像、10张Col3图像和7张NGAL图像。对于我们的应用场景，我们分别训练PAS和IHC其他染色之间的染色转换模型，将后者转译到PAS域，以便进行后续分割。我们使用了所有的PAS切片，随机选择5张CD31，5张Col3和5张NGAL WSIs进行训练，其余切片用于评估染色转换模型。我们的数据预处理流程从灰度转换和OSTU阈值分割开始，用于WSIs中的自动组织检测。然后对图像进行细分，提取出216um*216um大小的patches，并重新采样为640*640像素分辨率的图像。总共提取出35233个PAS patches, 3104个CD31 patches, 2969个aSMA patches， 5533个Col patches和3857个NGAL patches用于训练。对于测试，我们利用Qupath手动标注了每种IHC染色评估切片中的20个patches。所得到的200个注释patches（60 CD31, 40 aSMA, 60 Col3, 40 NGAL ）被认为是ground truth，被用于与相应的模拟PAS翻译的分割预测进行比较，以最终量化分割模型在IHC染色上的表现。

实验设置

在我们的实验中，我们分别在有和没有我们提出的将先前的分割模型和多通道合并到训练中的修改的情况下训练CycleGANs进行染色翻译。

由于训练是在640 x 640像素的图像上进行的，我们稍微调整了来自Gadermayr et的CycleGAN架构。我们将基于u - net的生成器的深度增加到7，将PatchGAN判别器的深度增加到4，以相应地扩大它们的接受域。这些网络被训练了30万次迭代，批处理大小为3个，并使用RAdam36作为优化器。经过15万次迭代后，初始学习率10−4开始线性下降至零，直到最后一次迭代。根据Gadermayr等人，我们还使用了等加权损失项(λadv = λcyc = λidt = λseg = 1)，并采用了标准数据增强(翻转、90°旋转、gamma校正)