阅读论文（六）

努力站桩的奶酪i

已于 2024-04-25 11:32:04 修改

阅读量1k

点赞数 24

文章标签：深度学习图像处理 python

于 2024-04-17 22:23:04 首次发布

本文链接：https://blog.csdn.net/qq_54412311/article/details/137654831

版权

论文提出了一种名为DCAMIL的眼底疾病检测系统，该系统利用眼科医生的眼动追踪信息进行人机协同（HITL）计算机辅助诊断。通过双交叉注意多实例学习网络，结合眼动图生成的实例，有效抑制噪声实例，提高诊断准确性和鲁棒性。实验结果表明，DCAMIL在AMD和DR的检测中优于其他方法，证明了利用眼动图作为先验医学知识的价值。

摘要由CSDN通过智能技术生成

论文题目：

DCAMIL: Eye-tracking guided dual-cross-attention multi-instance learning
for refining fundus disease detection

中文题目：

DCAMIL:眼球追踪引导双交叉注意多实例学习改进眼底疾病检测

SCI一区

0摘要

深度神经网络（DNN）促进了眼底疾病计算机辅助诊断（CAD）系统的发展，帮助眼科医生减少漏诊和误诊率。然而，大多数计算机辅助诊断系统都是数据驱动型的，缺乏对性能有利的先验医学知识。为此，我们利用眼科医生的眼球跟踪信息，创新性地提出了人机协同human-in-the-loop (HITL)CAD 系统。具体来说，HITL CAD 系统是在多实例学习（MIL）的基础上实现的，临床医生的注视图有利于挑选与诊断相关的实例。此外，还利用双交叉注意 MIL（DCAMIL）网络来抑制噪声实例的不利影响。同时，我们还引入了序列增强（SA）模块和域对抗网络（DAN），以分别丰富和规范训练包中的实例，从而增强我们方法的鲁棒性。我们在新构建的数据集（即 AMD-Gaze 和 DR-Gaze）上进行了比较实验，分别用于 AMD 和早期 DR 检测。严谨的实验证明了我们的 HITL CAD 系统的可行性和所提出的 DCAMIL 的优越性，后者充分利用了眼科医生的眼球跟踪信息。这些研究表明，临床医生的注视图作为先验医学知识，有可能为临床疾病的 CAD 系统做出贡献。

"Human-in-the-loop"（HITL）是一种人机协作的概念，特指在人工智能或自动化系统中，人类专家或操作者与计算机系统之间建立起密切的互动和协作关系的工作模式。

在HITL中，人类专家或操作者的角色是至关重要的，他们可以提供对系统无法处理或处理困难的情况进行理解和决策的能力。这种人机协作可以帮助解决那些仅靠自动化系统难以解决的复杂问题，特别是在需要人类智慧、判断力和经验的领域。

举例来说，在机器学习模型的训练过程中，HITL可以指导模型的训练方向、提供标签或反馈数据，从而提高模型的性能和泛化能力。在自动驾驶领域，HITL可以让人类驾驶员与自动驾驶系统共同工作，共同应对复杂的交通情况和意外事件。

总的来说，HITL是一种利用人类智慧和计算机自动化技术相结合的工作方式，可以在各种领域中提高系统的性能和效率。

1介绍

眼部护理已成为全球研究人员持续关注的问题。同时，基于深度神经网络(DNN)的计算机辅助诊断(CAD)筛查系统也得到了发展，例如对于糖尿病视网膜病变(DR)和年龄相关性黄斑变性(AMD)疾病的预测和检查。彩色眼底照片已成为眼底疾病最常用和最重要的诊断资源。随着标注良好的眼底图像的蓬勃发展，基于 DNN 的筛查系统应运而生，并逐渐取得了与眼科医生的诊断有了相当的性能。一般来说，深度学习模型的数据标注是可选的，即图像级、盒级和像素级。因此，研究人员相应地从两个方面设计模型。首先，通过利用定性图像级标签，提出了一些高质量的网络结构。然而，良好的性能和合理的可视化结果（如类激活图（CAM））高度依赖于大规模注释。其次，研究人员试图设计基于精细盒级或像素级标签的模型，以准确定位或分割病变，如微动脉瘤（MA）、出血（HM）、软或硬渗出物（EX）和色素。虽然它们可以为推断提供合理的依据，但耗时耗力的标记过程，尤其是像素级的标记，限制了研究的可持续发展。问题的关键在于，我们应该重新思考如何在不增加额外标注负担的情况下提高临床 CAD 系统的性能。

眼动追踪器收集的注视图在心理学、神经科学和辅助诊断系统等多个人类健康相关研究领域中的应用。注视图已被整合到计算机辅助诊断（CAD）系统的不同阶段，从图像注释到模型设计。与手动像素级注释相比，注视图的使用具有成本效益高的优势，记录了专家的眼动，为医学图像提供了一种粗略的注释方法，成本较低。此外，由于注视图是在诊断过程中收集的，因此它们不会额外消耗诊断程序之外的时间，且不会干扰正常诊断流程。

总的来说，注视图为增强CAD系统在医学图像分析中的作用提供了有价值的工具，有助于提高诊断流程的效率和成本效益。

因此，将眼科医生在眼底图像读取过程中的凝视图视为先验医学知识，并将其引入我们所提出的人机交互(human-in-the-loop) CAD系统。具体来说，我们的HITL CAD系统是通过多实例学习(MIL)框架来实现的，并利用注视图来筛选眼科医生关注较少的非诊断实例。然后，提出的双交叉注意MIL (DCAMIL)模型构成了HITL CAD系统的核心算法架构，为双网络提供了一种协同训练模式。此外，交叉注意模式有助于区分诊断有益的实例，并防止每个网络干扰令人困惑的实例。据我们所知，我们首先提出了一种基于眼动仪的临床诊断级人机协同诊断系统，本文的主要贡献总结如下:

提出了一种以眼科医生眼动信息为先验医学知识的眼底疾病检测HITL CAD系统。
通过多实例学习实现HITL CAD系统，初步利用眼科医生的注视图进行实例筛选，便于正确诊断。此外，我们提出了一种新的DCAMIL模型与对比学习正则化，抑制噪声的实例。
引入了序列增强(SA)和领域对抗网络(DAN)来丰富和规范训练集中的实例，从而增强了DCAMIL模型的鲁棒性。
独立构建DR-Gaze和AMD-Gaze数据集，包括眼底照片和相应的注视图。两个数据集都验证了DCAMIL在诊断眼底疾病方面的有效性和优越性。

2相关工作

为了实现对眼科疾病的自动化检测，本研究以眼科医生通过眼动仪记录的凝视图作为必要的先验医学知识，建立了一个用于 AMD 和早期 DR 检测的 HITL CAD 系统。首先，我们回顾了最近的眼底疾病检测方法，尤其是针对 AMD 和 DR 的方法（见图 1）。然后，我们介绍了一些与 CAD 有关的眼球跟踪研究。最后，我们介绍一些应用于医学图像分析的 MIL 方法。

2.1. 基于深度学习的眼底疾病检测

图1所示。(a)、(b)和(c)分别是健康、DR和AMD病例的说明性示例。绿色实框为眼底图像上不明显病变的放大图，说明早期眼底疾病的检测任务比较困难。

计算机视觉中深度神经网络的发展促进了基于眼底图像的眼底疾病检测。各种先进的深度神经网络已经出现在主要眼底疾病筛查系统的研究中。对于AMD和DR的检测和分级已经有不少的研究成果。例如，基于学习的AMD检测研究包括亚型分类和严重程度分级，根据DR分级标准，研究人员提出了几种DR检测方法，

Liu, Li, Xu, Li and Liang（2019）提出了一种多加权路径卷积神经网络(WP-CNN))来区分可参考DR和非可参考DR，其性能优于预训练的ResNet, SeNet和DenseNet架构。

Li, Hu（2019）等提出了一个跨疾病注意力网络(cross-disease attention network, CANet)，对DR和DME进行联合分级，研究个体疾病及其内在关系。

Guo（2019）等提出了一种融合多尺度特征的多病灶分割模型(L-Seg)，用于检测与DR相关的病灶，即MAs、HMs和EXs。

2.2. 眼动追踪辅助CAD系统

近年来，眼动追踪在CAD系统设计中被作为辅助的先验医学知识加以利用。对眼动追踪辅助CAD系统的调查主要体现在两个方面：

首先，将眼动追踪信息应用于图像自动标注：

Stember等(2019)提出了一种基于眼动追踪的多模态医学图像(如计算机断层扫描(CT)和磁共振与成像(MRI))病灶和器官动态标注方法。

Stember等(2020)将眼动和语音信息结合使用，对医学图像中的异常区域进行标注。

Karargyris等(2021)基于放射科医生的凝视图，提出了一种基于U-Net的多头模型，用于同步预测专家的注意力和分类结果，以区分充血性心力衰竭、肺炎和正常。

Wang等(2022)提出了一种基于x射线图像的凝视引导注意力模型，将骨关节炎分为四类，具有较好的可解释性和分类性能。Follow My Eye: Using Gaze to Supervise Computer-Aided Diagnosis

2.3. 医学图像分析中的多实例学习（MIL）

MIL是一种弱监督方法，广泛应用于粗糙标注的医学图像分析。目前，医学图像分析场景中已经提出了许多基于MIL的深度学习模型。包括组织病理学图像中不同组织的癌症分类(Yao, Zhu, Jonnagaddala, Hawkins， & Huang, 2020)， MRI和CT图像中的病变检测和癌症分析(Chen et al .， 2022;Qiu等人，2021)，光学相干断层扫描(OCT)和眼底图像中的视网膜疾病识别(Mueller等人，2022;Wang, Tang, Chen, Cheung， & Heng, 2023)等。Deep semi-supervised multiple instance learning with self-correction for DME classification from OCT images（一区）

3方法

设计了一个基于临床医生在诊断过程中的注视图的眼底疾病检测任务的HITL CAD系统。

首先，3.1节介绍了诊断场景下临床医生眼动信息(即既往医学知识)的获取和处理过程。其次，利用处理过的凝视图，在第3.2节中展示了实例的生成并构建了MIL范式。接下来，第3.3节描述了用于促进泛化的实例级措施，包括序列增强(SA)模块和领域对抗网络(DAN)。最后，第3.4节解释提出的DCAMIL网络的细节。数据级定向模块和网络级定向模块共同构成了HITL CAD系统。算法1概述了DCAMIL算法的整体训练过程。