读论文《PROTOTYPE KNOWLEDGE DISTILLATION FOR MEDICAL SEGMENTATION WITH MISSING MODALITY》

论文题目：

缺失模态医学分割的原型知识蒸馏

论文地址：2303.09830 (arxiv.org)

项目地址：https://github.com/SakurajimaMaiii/ProtoKD

摘要：

多模态医学成像在临床治疗中至关重要，因为它可以为医学图像分割提供补充信息。然而，由于扫描时间限制和其他临床情况，收集多模态数据在临床上是困难的。因此，开发一种能够处理缺失模态问题的图像分割范式在临床上具有重要意义。本文提出了一种原型知识蒸馏（ProtoKD）方法来解决这一挑战性问题，尤其是当只能访问单一模态数据时最困难的场景。具体来说，ProtoKD不仅可以将多模态数据的像素级知识蒸馏到单模态数据，还可以转移类内和类间特征变化，使学生模型能够从教师模型学习到更稳健的特征表示，并仅使用单一模态数据进行推理。该方法在BraTS基准测试中实现了最先进的性能。代码可在GitHub上获得。

引言：

多模态成像在医学图像分析领域具有重要意义，因为它提供了医学诊断的补充信息。尽管多模态成像通常能产生准确的诊断，但由于数据损坏或临床场景中的不同扫描协议，通常很难收集到完整的多模态图像集。因此，迫切需要一种健壮的医学图像分割方法来解决在推理时缺失模态的问题。本文提出了三种主要方法来解决这一挑战性问题：第一种是合成缺失模态以完成测试集