持续学习所面临的挑战是:防止数据灾难性的遗忘
导致灾难性遗忘的主要原因是:多重的域数据来自不同的域,为了合理地用来自多个域的数据来解决一个任务,模型必须以一种领域不变的方式进行适应和学习。
解决方法是:提出了一种利用两个或多个数据集同时可用性的架构,以对抗的方式学习内容和域之间的解纠缠。
该方法的思路来源:从领域适应中获得灵感,并将其与大脑MRI中海马体分割的持续学习相结合
结果:减少了灾难的遗忘,并优于最先进的持续学习方法。
介绍:
多域数据的有限可用性使得开发一个连续海马分割的通用模型变得困难。通常,由于开放访问、放宽限制或访问机构内使用较旧的扫描仪和协议获取的历史数据,至少有两个来自不同领域的数据集可以同时访问。这一意外发现允许学习领域和分割所需的内容之间的分离,这是持续学习方法还没有利用的。具体措施:受图像到图像转换(I2I)的启发,我们利用对抗性训练来学习足以进行分割的域不变内容表示和特定于数据集的域表示[11,13,19]之间的解纠缠。我们为每个表示训练一个编码器,并与我们的分割模块共享内容编码器。最后,我们将我们的方法扩展到持续学习,我们将描述我们的体系结构如何对常见的数据集可用性场景作出反应。我们对这些假设场景中的一个子集进行实验。我们提供了对抗性连续分割器(ACS),通过对抗性解纠缠和潜在空间正则化,用于多域数据的连续语义分割,从而减少了脑mri海马分割中的灾难性遗忘。
数据集:所有的数据集都来自不同的领域,并包含t1加权的mri。第一个数据集是作为2018年医学分割十项全能挑战[27]的一部分发布的,共有195名受试者,其中90名健康健康者和105名非缺陷性精神障碍患者。扫描结果使用飞利浦Archia扫描仪收集,体积的平均大小为354935。第二个数据集发表在科学数据[18]上,其中有一个包含25个健康受试者的t1加权数据集。所有的扫描结果都是使用具有3个特斯拉单元的MRI系统获得的。平均标准分辨率为486464。第三个数据集由阿尔茨海默病神经成像倡议[4]提供,由68名受试者组成,他们要么属于对照组,要么是轻度认知障碍或阿尔茨海默病的患者。这些图像分别由西门子、通用电气和飞利浦的扫描仪采集,分别扫描了23、24和21次。平均体积大小为486464。所有三个数据集都为海马体提供了参考分割掩模。掩码用在各自的出版物中定义的协议手动注释。我们在所有三个数据集上评估我们的架构,我们将分
别称为A、B和C。
实验设置:我们将每个数据集分为70%的训练、20%的测试和10%的验证,并使用后者来选择超参数。我们通过双线性插值来训练切片和上采样,以实现均匀的切片。我们将ACS与以下基线进行了比较。
结论:我们提出了ACS,一种针对多域数据进行连续语义分割的架构,它利用了数据集的同时可用性。在实际的临床实践中,在持续培训过程的开始阶段,可以通过公共或可访问的历史数据等其他来源获得多个数据集。与目前的方法不同,我们利用这一意外发现,通过对抗性训练将MRI图像分解为内容和领域表示。然后,我们直接对域不变的内容表示进行多域海马分割。我们在第一个训练阶段通过对多域数据的域解纠缠来证明了巨大的改进。在第二个训练阶段,我们的持续学习建议的好处变得很清楚,通过展示使用所有可用的数据可以减少灾难性的遗忘,并优于目前最先进的方法。我们的方法推动持续学习更接近临床应用,其中存在不同程度的可变性,如疾病模式、扫描供应商和获取协议,并进一步使深度学习模型在临床实践中的持续使用。