4.20.1 深度神经网络提高放射科医生在乳腺癌筛查中的表现

托比-马奎尔

已于 2024-08-13 12:29:45 修改

阅读量956

点赞数 21

分类专栏：医学图像处理文章标签： dnn 人工智能神经网络

于 2024-04-22 17:46:42 首次发布

本文链接：https://blog.csdn.net/qq_47896523/article/details/138045153

版权

医学图像处理专栏收录该内容

46 篇文章 7 订阅

订阅专栏

文章介绍了一种新颖的两阶段神经网络，能结合全局和局部信息，使用高容量的ResNet块处理乳腺X线摄影图像。模型通过像素级和宏观级别的学习生成可解释的热图，展示出在高分辨率图像和少量标签情况下像素级标签的有效性。文章还探讨了BI-RADS预训练在提升模型性能中的作用以及模型集成技术的应用。

摘要由CSDN通过智能技术生成

用于癌症分类的深度CNNs

对于每个乳房，我们分配两个二元标签：乳房中不存在 / 存在恶性发现（ $\hat{y}_{R,m} / \hat{y}_{L,m}$ ）；乳房中不存在 / 存在良性发现（ $\hat{y}_{R,b} / \hat{y}_{L,b}$ ）

将每个图像裁剪为CC视图的固定尺寸2677*1942像素，MLO视图的固定尺寸2974*1748像素。

模型架构和训练

四种模型变体

整合四个筛查乳腺X光检查视图的信息。所有变体都被限制为在完全连接的层之间总共有1024个隐藏激活。

在所有模型中，我们使用四个基于 ResNet 的 22 层网络 (ResNet-22) 作为列，计算每个视图的256 维隐藏表示向量。与标准ResNet相比，该网络具有不同的深度和宽度平衡，可针对非常高分辨率的图像进行调整。

ResNet-22

ResNet-22的完整架构

方括号中的数字表示输出通道的数量

每个ResNet的中间输出是一个 $H\times W\times 256$ 维的张量，其中 $H\, \, \, \, W$ 从原始输入大小进行下采样，对于CC视图，H=42和W=31；对于MLO视图，H=47和W=28.

对空间维度上的表示进行平均池化，从而获得每个视图的256维隐藏表示向量。

将标准ResNet用于乳房X光检查的主要考虑因素是需要处理高分辨率的图像，而无需事先进行下采样，即在GPU内存中拟合前向传播和梯度计算。

每个处理的小批量都需要足够大，以便模型训练得到良好的调节。

尽管在推理时，每个乳房的预测被计算为该乳房的两个视图的预测的平均值，但该模型实际上经过训练来优化损失，它分别处理两个视图的预测。

当两种输入模式中的一种比另一种更具预测性时，网络倾向于忽略预测性较差的模式，这一观察结果与先前的结果一致。

辅助补丁级分类模型和热图

当使用全分辨率图像作为输入时，图像的高分辨率和GPU的有限内存限制我们在模型中使用相对较浅的ResNet。为了进一步利用乳房X光检查中的细粒度细节，训练一个辅助模型来对256*256像素的乳房X光检查斑块进行分类，预测给定斑块中是否存在恶性和良性发现。

这些补丁的标签是根据临床医生生成的相应乳房 X 光照片的像素级分割确定的。

之后，以滑动窗口的方式将此辅助网络应用于全分辨率乳房X光检查，为每个图像创建两个热图，一个包含每个像素的恶性发现的估计概率；另一个包含良性发现的估计概率。这些补丁分类热图可用作乳房级模型的附加输入通道，以提供补充的细粒度信息。

若使用单独的乳房和像素级模型将我们的工作与在单个可微网络中使用像素级标签的方法或基于R-CNN变体的模型区分开。

允许我们在补丁级别使用非常深的辅助网络，因为该网络不必立即处理整个高分辨率网络，将补丁级分类器生成的热图添加为额外的输入通道，使主分类器能够从像素级标签中受益，而生成像素级预测所需的繁重计算不需要在每次使用示例时重复。

同时，我们还可以使用ImageNet上预训练的网络权重来初始化块级分类器的权重。

BI-RADS分类预训练

由于我们拥有的具有良性或恶性标签的活检样本数量相对较少，因此我们应用迁移学习来提高模型的稳健性和性能。

事实证明，即使使用噪声标签进行训练，神经网络也能达到合理的性能水平。我们利用这一特性将通过 BI-RADS 标签学到的信息转移到癌症分类模型中。

实验

为了进一步改进结果，可以采用模型集成技术，其中对几个不同模型的预测进行平均以产生集成的整体预测。我们使用全连接层中权重的不同随机初始化来训练每个模型的五个副本，而其余权重则使用在BI-RADS分类上预训练的模型权重进行初始化。

ROC 曲线总结了使用不同概率阈值的模型的真阳性率和假阳性率之间的权衡。

预训练对BI-RADS分类的重要性

与图像和热图模型相比，仅图像模型使用预训练权重带来的性能提升往往更大。因为热图已经包含与癌症分类相关的重要信息，因此模型可能可以更快地学习利用热图进行癌症分类。相比之下，纯图像模型完全依赖 ResNet 来有效编码癌症分类的视觉信息，因此使用针对 BI-RADS 分类预训练的模型权重对模型性能有显着贡献。

$\hat{y}_{hybrid}=\lambda \hat{y}_{radiologist}+(1-\lambda)\hat{y}_{model}$ ；其中分别是放射科医生的预测结果和模型的预测结果。