Radiomics-Guided Global-Local Transformer for Weakly Supervised Pathology Localization in X-rays

K.SHI

已于 2023-04-22 19:18:19 修改

阅读量342

点赞数

分类专栏： Paper 医学图像文章标签： transformer 人工智能深度学习计算机视觉

于 2023-04-17 14:36:26 首次发布

本文链接：https://blog.csdn.net/HLK_1135/article/details/130195763

版权

医学图像同时被 2 个专栏收录

12 篇文章

订阅专栏

Paper

9 篇文章

订阅专栏

前言

一、Introduction

二、Method

1. Preliminary: ViT and Cross-Attention

2. RGTModel

Image Branch：使用Progressive-Sampling ViT（PS-ViT）。

Radiomics Branch：使用vanilla Transformer，但丢弃了位置编码模块。

BYOA模块：包含attention map generation和radiomic feature extraction

三、优化方法

1、Supervised Classification Focal Loss

2、Unsupervised Cross-View Contrastive Loss

总的Loss为弱监督：

参考资料：Radiomics Features

前言

文章来源：TMI2023
代码：https://github.com/VITA-Group/chext
数据集：NIH ChestXRay dataset
关键词：weakly supervised disease localization, radiomics, Transformer

本文提出了一个Radiomics-Guided Transformer（RGT）来融合全局图像信息以及局部radiomics指导的辅助信息，使用Radiomics-Guided进行弱监督胸部X光图像分类和定位任务。

RGT模型的构成：

image Transformer branck（使用self-attention，来提取一个bbox用于计算radiomic特征）
radiomics Transformer branch
fusion layers（通过cross-attention聚合image和radiomics信息）

一、Introduction

手工的放射学特征是为了描述一个局部的“region of interest”，放射学特征由人类设计，并在语义上描述局部医学图像区域。例如具有数字特征的肿瘤，可评估大小、形状、纹理、像素强度变化以及相邻像素之间的关系等。然而，之前的方法需要依赖于准确的病理定位标注。

本文把这个问题称之为“chicken-and-egg”，即存在一个“鸡和蛋”的问题：有用的放射学特征的提取依赖于准确的病理定位，但病理定位往往是不存在的，首先需要学习或单独获取，因此这也是本文创新点的地方，构建一个feedback loop（反馈回路），称之为Bring Your Own Attention (BYOA) module。

二、Method

1. Preliminary: ViT and Cross-Attention

主要是ViT之类的介绍，本文借鉴于CrossViT。

2. RGTModel

本文延用了CrossViT的思想，引入了一个双分支cross-attention Transformer，主分支用来操作图像，辅助分支用来处理放射学特征。

Image Branch：使用Progressive-Sampling ViT（PS-ViT）。

Radiomics Branch：使用vanilla Transformer，但丢弃了位置编码模块。

放射组学分支用于处理和学习放射学特征的深层表示。手工制作的特征可以涵盖广泛的类别，如一阶（基本强度和基于形状的特征）、二阶（从各种矩阵中提取的纹理特征）和更高级的特征，包括通过傅立叶和小波变换计算的特征。具体而言，这项工作中使用的107个放射学特征来自以下描述的类别：

一阶统计量测量感兴趣区域内像素强度的分布。这些特征包括能量（像素值大小的测量）、熵（图像值不确定性的测量）和最大/平均/中值灰度强度。总共提取了18个一阶放射组学特征。
基于形状的特征：例如mesh surface, pixel surface, and perimeter – describe the two-dimensional size and shape of the region of interest。基于形状的特征对于量化提取区域的大小和纵横比仍然是有用的。这项工作总共使用了14个形状特征。
灰度特征描述像素强度值中的统计模式，这些统计模式来自灰度共生矩阵（GLCM）、灰度大小区域矩阵（GLSZM）、灰度游程长度矩阵（GLRLM）、相邻灰度差矩阵（NGTDM）和灰度依赖矩阵（GLDM）。计算了24个GLCM特征、16个GLSZM特征、16种GLRLM特征、5个NGTDM特征和14个GLDM特征。

BYOA模块：包含attention map generation和radiomic feature extraction

Bootstrap Your Own Attention (BYOA) module

Attention Map Generation：使用self-attention。
Radiomic Features Extraction：使用Pyradiomics，包含18 first- order features, 14 shape-based features, and 73 gray-level features。