IVOCT中基于Vision Transformer的多类病变检测

Vision Transformer Based Multi-class Lesion Detection in IVOCT

摘要

心血管疾病是一种高致死率的疾病。血管内光学相干断层扫描（IVOCT）技术可以显著帮助诊断和治疗心血管疾病。然而，从数百张IVOCT图像中定位和分类病变是一项耗时且具有挑战性的任务，尤其对于初级医生而言更是如此。因此，一种自动病变检测和分类模型是非常可取的。为了实现这一目标，

在本研究中，首先收集了一个IVOCT数据集，包括来自69个IVOCT数据的2,988张图像，以及跨三个类别的4,734个病变标注。基于新收集的数据集，提出了一种基于Vision Transformer的多类病变检测模型，称为G-Swin Transformer。

模型的关键部分是网格注意力机制，用于建模连续IVOCT图像之间的关系。通过大量实验证明，所提出的G-Swin Transformer能够有效地定位IVOCT图像中的不同类型的病变，明显优于基线方法在所有评估指标上的表现。代码可以通过以下链接获得。
代码地址

方法

Fig. 1. 数据集的示例图像和标注。每个IVOCT数据都转换为PNG图像进行标注。蓝色/绿色/红色框分别表示巨噬细胞、空洞/剥离、血栓的边界框。(在线彩色图)

Fig. 2. 整体模型结构。提出的G-Swin Transformer被用作骨干网络。检测头部遵循Faster-RCNN的头部设计。W-MGSA和SW分别指窗口式多头网格自注意力和平移窗口。

Fig. 3. 所示为提出的网格注意力。蓝色/橙色/绿色特征图分别属于前一帧/当前帧/下一帧的局部窗口。在进行维度缩减和下采样操作后，前一帧和下一帧的特征图被添加到当前帧的特征图中。(彩图在线)

实验结果