(脑肿瘤分割笔记：六十二)缺失模态下的对抗性联合训练脑肿瘤分割网络

Title：ACN: Adversarial Co-training Network for Brain Tumor Segmentation with Missing Modalities

摘要

在临床实践中，由于图像损坏、伪影、不同的采集协议或对某些造影剂的过敏，经常会发生通道丢失。虽然现有的努力表明有可能为所有缺失的情况建立一个统一的模型，但当缺少一种以上的模式时，大多数模式的表现很差--存在的问题

具体地说，ACN采用了一种新颖的联合训练网络，使全通道和缺失通道的学习过程能够相互补充对方的领域和特征表示，更重要的是，恢复了缺失通道的丢失信息。在此基础上，提出了两个无监督的学习模块，即信息熵模块和知识对抗学习模块，分别在提高预测可靠性和鼓励潜在表征对齐的同时最小化领域差距。这个模型可以实现完整模态和缺失模态的耦合学习过程，以补充彼此的领域和特征表示，更重要的是恢复缺失的信息。

具体来说，模型包括两个学习路径，多模态路径用于导出丰富的模态信息，单模路径用于生成模态特定表示，然后引入联合训练方法，在两者之间建立耦合过程。该过程由三个主要部分实现，即：1）熵对抗学习模块（EnA），以弥合多模态和单模路径之间的领域鸿沟；2） 一个知识对抗学习模块（KnA），鼓励在多模态和单模态学习过程中调整潜在表征；3） 模态互信息知识传递模块（MMI），通过变分信息最大化从不同的特征层次恢复不完整模态的最相关知识。

方法

2.1对抗协同训练网络

数据的每个视图都经过