基于眼底增强的疾病感知蒸馏模型用于OCT图像的视网膜疾病分类

Fundus-Enhanced Disease-Aware Distillation Model for Retinal Disease Classification from OCT Images

摘要

光学相干断层扫描（OCT）是一种新颖且有效的眼科检查筛查工具。由于采集OCT图像相对比眼底照片更昂贵，现有方法采用多模态学习，通过眼底图像提供额外的上下文信息以弥补有限的OCT数据。然而，多模态框架需要同时拥有两种模态的配对数据集，这在临床使用中不切实际。

本文提出了一种类别原型匹配方法，以从眼底模型中蒸馏与疾病相关的信息到OCT模型，以及一种新的类别相似性对齐方法，以强制两种模态的疾病分布一致。
代码地址

方法

图1. 比较(a)单模态学习，(b)多模态学习，和©我们提出的蒸馏增强方法。在我们的设置中，额外模态的图像仅用于模型训练，而在推理过程中不需要使用。

图2. FDDM概述。基于类别原型匹配，用于蒸馏疾病特定特征，以及类别相似性对齐，用于蒸馏类间关系。

实验结果