文章目录
IarCAC: Instance-Aware Representation for Coronary Artery Calcification Segmentation in Cardiac CT Angiography
摘要
背景: 冠状动脉钙化 (CAC) 是冠状动脉疾病的可靠指标,也是经皮冠状动脉介入治疗结果的关键决定因素。受到临床观察的启发,即 CAC 通常表现为多个实例的稀疏分布。现有的方法只关注空间相关性,而忽略了 CAC 任务中语义连接的稀疏空间分布。
目的: 引入了一种新的实例感知表示方法,用于 CAC 分割,称为 IarCAC,它明确利用实例之间的稀疏连接模式来增强模型的实例判别能力。
方法: 开发了一个 InstanceViT 模块,该模块评估每对令牌之间的连接强度,使模型能够学习特定于实例的注意力模式。随后,引入了一个实例感知指导模块,用于学习傅里叶域中实例相关区域的稀疏高分辨率表示
结果: 在两个具有挑战性的 CAC 数据集上进行了实验,并在所有数据集中实现了最先进的性能。
代码地址
方法
整体上:也是UNET结构,实例感知学习看图可能是最底层,代码目前有链接但是链接为空
InstanceViT:就是一个多头注意力机制,只不过进行了稀疏化,在注意力评分矩阵 上使用稀疏注意力MASK,并选择前 k 个贡献最大的元素
Instance-Aware Guided Module:
从 instanceViT 分支中学习交互权重来调节 ViT 的表示。为交互权重采用了一个简单的 resnet 块和一个 sigmoid 层。仅使用复谱的实部来计算权重。随后,利用交互权重来指导。
损失函数:
实验结果