阅读论文（三）

题目：

CANet: Cross-disease Attention Network for Joint Diabetic Retinopathy and Diabetic Macular Edema Grading

中文题目： 

CANet：用于联合糖尿病视网膜病变和糖尿病黄斑水肿分级的跨疾病注意力网络

0摘要

糖尿病性视网膜病变(DR)和糖尿病性黄斑水肿(DME)是导致劳动年龄人口永久性失明的主要原因。DR和DME的自动分级有助于眼科医生为患者设计量身定制的治疗方案，因此在临床实践中至关重要。然而，以往的研究要么对DR进行分级，要么对DME进行分级，而忽略了DR与其并发症，即忽略了DR与DME之间的相关性。此外，位置信息，如黄斑和软硬排气注释，被广泛用作分级的首要条件。这样的注释需要付出很高的成本，因此开发仅基于图像级别监督的自动分级方法是可取的。在这篇论文中，我们提出了一种新颖的跨疾病注意网络（CANet），通过仅基于图像级别监督，探索疾病之间的内部关系，共同对糖尿病视网膜病变（DR）和糖尿病黄斑水肿（DME）进行分级。我们的关键贡献包括疾病特定注意力模块，用于有选择地学习针对个体疾病的有用特征，以及疾病依赖性注意力模块，进一步捕捉两种疾病之间的内部关系。我们将这两个注意力模块集成到深度网络中，以生成疾病特定和疾病相关的特征，并共同最大化对糖尿病视网膜病变（DR）和糖尿病黄斑水肿（DME）的分级性能。我们在两个公开的基准数据集上评估了我们的网络，即ISBI 2018 IDRiD挑战数据集和Messidor数据集。我们的方法在ISBI 2018 IDRiD挑战数据集上取得了最佳结果，并在Messidor数据集上优于其他方法。

1介绍

糖尿病视网膜病变(DR)是由糖尿病引起的微血管视网膜病变的结果。微动脉瘤 （microaneurysms）、出血（hemorrhages）、硬渗出物（hard exudates）和软渗出物（soft exudates）等结构与DR密切相关，上述每种异常的存在决定了患者DR的级别，如图1所示。

对于糖尿病黄斑水肿（DME）的严重程度分级是基于硬性渗出物到黄斑的距离来确定的。

对于糖尿病视网膜病变（DR）和糖尿病黄斑水肿（DME）的分类和分级非常重要，这样可以让患者在早期得到量身定制的治疗，而治疗方案通常是根据分级来确定的。渗出液离黄斑越近，风险越大。

卷积神经网络(cnn)是学习DR和DME分级特征的强大工具。先前的研究忽略了DR和DME之间的内在联系，例如，DME是DR的并发症。近年来，一些研究开始探索DR和DME的联合分级，简单地将联合分级任务视为一个多标签问题，没有考虑这两种疾病之间的隐含关系。为此，我们提出了一种新颖的深度网络架构，称为跨疾病注意力网络（CANet），以有选择地利用深度卷积神经网络学习到的特征，并为联合糖尿病视网膜病变（DR）和糖尿病黄斑水肿（DME）分级生成疾病特定的特征（在每种疾病内部）和疾病依赖的特征（在不同疾病之间）。

首先，我们开发了一个疾病特定的注意力模块。然后，我们提出了一个疾病依赖的注意力模块，通过学习一组注意力权重来探索两种疾病之间的内在关系，较大的权重表示更高的并发风险（例如，DME可能导致DR恶化），反之亦然。通过注意力机制，我们的网络模型了解了这两种疾病之间的隐含关系，并提高了联合分级性能。

贡献：

• 提出了一种新颖有效的方法，称为跨疾病注意网络(CANet)，以联合建立DR与其并发症(即DME)之间的关系的模型。
• 提出了疾病特异性注意模块来选择性地学习单个疾病的有用特征，并设计了一个有效的疾病依赖性注意模块来捕捉两种疾病之间的内在关系。
• 在公共IDRiD挑战数据集和Messidor数据集上的实验表明，CANet方法在这两种疾病的分级上都优于其他方法，并且在IDRiD数据集上达到了最佳性能。

2相关工作 

A.糖尿病视网膜病变分级

深度学习算法是DR分级的热门方法。识别DR严重程度的深度学习方法主要有两类。第一类是利用微小病变(如微动脉瘤、出血)的位置信息来确定DR分级性能。第二类方法使用图像级别的监督训练分类模型，直接区分糖尿病视网膜病变（DR）的不同分级。文章遵循第二类方法，只利用图像级别的监督进行疾病分级。

B.糖尿病黄斑水肿分级

DME严重程度的评估是基于硬性渗出物到黄斑的距离。渗出物离黄斑越近，风险越大。先前对于DME分级的这些工作都是利用渗出区域的位置信息进行疾病分级。这些标记（包括病变掩模--（指示病变的位置）和分级标签）很难获得，在本工作中，我们只利用图像级别的监督对DME进行分级。

图像级别的监督是指在机器学习中一种简单的监督学习方法，其中模型的训练数据只包括输入图像和相应的标签，而不需要详细的像素级别的注释或标注。在这种情况下，模型通过学习从输入图像到输出标签的映射关系来进行训练，而无需额外的详细信息。

C.医学影像领域的多任务学习 

DR和DME疾病的联合分级与多任务学习有关，本文设计了一种新的深度网络架构来探索两种疾病之间的关系，并提高两种疾病的整体评分性能。

3方法

下图展示了用于DR和DME联合分级的跨疾病注意网络(CANet)的概述，该网络包括两个疾病特异性注意模块((a))，用于学习疾病特异性特征，以及两个疾病依赖性注意模块((b))，用于探索这两种疾病之间的相关特征。

上图为跨疾病注意网络(CANet)示意图。Gi和Gj分别表示DR和DME的疾病特异性特征;和