阅读论文（七）

论文题目：Collaborative learning of weakly-supervised domain adaptation for diabetic 
retinopathy grading on retinal images 

中文题目：基于弱监督域自适应的协同学习的视网膜图像的糖尿病视网膜病变分级

0摘要

糖尿病视网膜病变（DR）的早期检测和治疗可大大降低患者视力丧失的风险。从本质上讲，我们面临着两个挑战：(i) 如何同时实现来自不同领域的领域适应；(ii) 如何在端到端框架中建立目标领域的可解释多实例学习（MIL）。在本文中，我们针对这些问题提出了一个统一的弱监督领域适应框架，该框架由三个部分组成：领域适应、实例渐进判别器和多实例注意学习。该方法利用多实例学习方案和注意机制对目标域的图像和图像之间的关系进行建模。同时，它结合了源域和目标域的所有可用信息，形成了一个联合学习策略。

1介绍

DR早期的检测特征：DR的诊断和分级性能在很大程度上取决于微动脉瘤(MAs)和出血等结构的检测。图1：

 因此，DR严重程度的分级是一个费时费力的过程，有时还容易误诊。因此，迫切需要对视网膜眼底图像进行疾病自动诊断，以便早期发现DR并进行严重程度分级，协助专家进行诊断。可以建立集成机器学习算法来预测DR严重级别的多类标签。近年来，深度学习技术(如卷积神经网络)作为疾病自动诊断技术的基本组成部分，在DR分级方面取得了显著成就。深度学习的成功主要归功于其提取高度代表性特征的能力。过程如图2(a)所示。MAs和出血的准确检测是早期发现DR的关键一步，因为这些通常是临床最早可识别的体征。然而，缺乏逐像素的病变注释阻碍了传统深度学习算法检测和识别可疑区域。因此，我们的目标是开发一种弱监督方法，该方法可以利用大量的图像级注释来显著减少人工注释的工作量，这是医疗应用中的一个重要问题。

多实例学习(Multi-instance learning, MIL)是弱监督学习的延伸，它将整个视网膜眼底图像视为一个袋子，每个小块作为袋子中的一个实例。在我们的研究中，我们将DR评分问题视为一个多类多实例学习公式(如图2(b)所示)。  更具体地说，图像被划分为由小块组成的规则网格，每个小块被视为一个实例。通过 MIL，我们可以将监督学习环境下识别可疑 MA （微动脉瘤）或出血区域的问题转变为仅依靠全局标签对整个眼底图像进行弱监督学习，这极大地简化了数据收集，也更符合临床医生的推理。然而，由于以下挑战，MIL 仍无法为斑块和全局图像之间的关系建模：

挑战 1：如何解决不同领域之间的多样性问题。为了进一步减少对目标域中全面病变注释的依赖，之前的一些方法利用带有病变标签的辅助数据集来辅助图 2（c）中没有病变标签的目标域中的弱监督模型。但是，他们没有考虑辅助域和目标域之间的域转移，因为患者群体和扫描仪方案各不相同。简单地应用在辅助域上训练的分类器来预测病变候选者，必然会因为域的差距而表现不佳。

挑战2:如何使弱监督深度学习模型在目标域中具有可解释性。无法解释模型预测是大多数现有计算机辅助DR诊断方法的一个众所周知的局限性。可解释性是必不可少的，因为它可以帮助决策在诊断和治疗计划。从临床角度来看，识别任务特异性生物标志物为了解疾病提供了重要的见解，以提高患者的治疗质量。然而，现有的深度学习模型无法为医生和患者提供如何进行诊断的直观说明。 

从本质上讲，问题就变成了如何通过从源领域转移知识来同时实现领域自适应，并使用端到端方案为目标领域构建可解释的多实例学习。为了解决这两个问题，我们提出了一个具有注意机制和领域适应的可解释的端到端弱监督学习网络，命名为WAD-Net，用于同时诊断糖尿病视网膜病变并突出可疑区域(图2(d))。更具体地说，1）每个袋中存在大量无关实例，阻碍了多实例学习。为了过滤掉那些对 MIL 性能有负面影响的实例，最好将源领域中预先训练好的实例分类模型的知识转移到目标领域。传统的域自适应中，源域和目标域通常共享相同的任务，但遵循不同的分布。然而，由于这两个任务在我们的工作中是不同的，因此更具挑战性:它是一个实例级的DR病变分类任务，在源域中有病变标签，而它是一个图像级的分类任务，在目标域中只有图像标签。为了解决关于分布和任务的领域转移，我们研究的目的是通过最小化领域分布之间的差异，将知识从具有病变注释的源领域转移到目标领域。一方面，我们使用cycleGAN实现图像到图像的转换，并开发了一种两步渐进训练方案，使实例鉴别器适应目标域。另一方面，由于cycleGAN中的无监督学习，不能保证生成的样本对目标域的分类性能有利。因此，我们开发了一个协作学习框架，将循环gan、实例渐进鉴别器和多实例学习结合到一个统一的框架中。因此，监督引导的cycleGAN通过图像级监督方案可以更好地生成补丁。2) 同时，我们在提出的 MIL 框架中加入了注意力机制。通过注意力机制生成的注意力图可以显示哪些像素在图像决策中起着更重要的作用。在 Messidor  和 Eyepacs 数据集上的实验表明，我们的 WAD-Net 方法不仅优于最先进的方法，而且在自动识别与疾病相关的病变以做出图像级决策方面也很有效。

我们的贡献可以概括如下：

1. 在医学领域，很难获得像素级的注释。提出了统一的弱监督域自适应框架，利用多实例学习方案对目标域中的实例和包之间的关系进行建模，并利用联合学习机制将源域和目标域的所有可用信息融合在一起。因此，我们不再需要大量逐像素标注的样本。

2. 与传统的无监督模型cycleGAN不同，我们的生成模型旨在为目标域的多实例学习产生更有效的样本。该算法采用端到端的弱监督方案，通过域自适应更好地生成补丁，在目标域实例生成和分类上都更有效

3. 提出了一个基于MIL的带有注意机制的DR框架。这种机制从两个方面对性能有利:1）获得的注意力图谱可以突出病变区域，为诊断提供决策依据；2）注意力权重可以提高相关实例的贡献率，从而提高分类性能。

4. 这个方法在两个独立的DR数据集(messsidor和Eyepaces)上分别具有二分类(诊断)或多分类(分级)分类任务，优于最先进的方法。

2相关工作

2.1.利用深度学习进行 DR 诊断

DR分级方法可分为两类。

第一类是通过识别DR相关病变(如微动脉瘤、出血)的位置信息来确定DR分级，具体的研究如下:（像素级的标记）

Chudzik等人采用卷积神经网络从眼底图像中检测微动脉瘤。

Adem开发了一种基于CNN的基于循环霍夫变换自动检测视网膜图像中的渗出物。

Lin提出了一种新的基于注意力的网络来统一病变检测和DR识别。

Tahira等人提出了一种基于快速区域的卷积神经网络(Fast regional -based Convolutional Neural Network, FRCNN)算法，结合k-means (FKM)聚类，用于糖尿病眼病的自动定位和识别。

另一类是训练深度学习模型，研究成果如下：（图像级的标注）如ResNet、Inception和DenseNet

Zhou等人开发了一种带有注意机制的同时进行DR分级和病灶分割的联合学习框架。

Zhu等通过探究跨病关系，提出了一种DR和DME联合分级的跨病关注网络。

Li等人提出了一种跨疾病关注网络(cross-disease attention network, CANet)，通过探索DR和DME两种相关疾病之间的内在关系，在仅图像层面监督的情况下对两者进行联合分级。

像素级的标注是非常昂贵的，在研究中我们选择图像级的标注来构建分类模型，然而，图像级监督的深度学习方法也存在限制：

首先，深度学习被认为是一个黑盒子，因此识别可疑区域并不是一个简单的过程。这是阻碍深度学习方法在临床应用的主要问题。其次，由于存在领域差距，它们没有适当地充分利用来自辅助领域的所有有价值信息。因此，我们旨在开发一种弱监督领域自适应范例，利用有限的像素级注释图像和大量的图像级注释来提高 DR 严重度预测的性能预测。

2.2. 多实例学习

多实例学习(MIL)已成功应用于目标检测和计算机辅助诊断等各种问题。在MIL问题中，只有袋子的标签是已知的，而袋子中包含的实例的单个标签则不提供。这与监督分类方法不同，在监督分类方法中，每个实例的标签是已知的。由于模糊的实例标签，学习过程是弱监督的。在DR分级研究中，只有少数作品将弱监督DR分级表述为MIL问题，其中每个图像由一个包(标记为健康或异常)表示，图像中未标记的候选病变被视为实例。

Cao等人提出了一种多核多实例学习方法来解决多类DR分级问题。

Zhou等人提出了一种通过特征学习和分类器训练相结合的深度MIL方法来改进DR图像的检测。

3. 方法 

3.1. 描述

研究任务描述如下：

1）源域