论文阅读：Automated diagnosis of bone metastasis based on multi-view bone scans using attention-augmented

Abstract

---

背景：

手动分析骨显像图像需要丰富的经验，已有骨显像图像的自动或半自动诊断方法步骤复杂且在小数据集上验证不足，准确性和可靠性较低。

本文贡献：

描述了一个深度卷积神经网络的方法，该方法有两个主要创新点：首先，通过联合分析前后视图进行诊断，从而获得较高的准确性。其次，提出了一种空间注意特征聚集算子来增强空间位置信息。

结果：

高分类准确率证明了所提出的体系结构对骨显像图像诊断的有效性，可作为临床决策支持工具应用。

1. Introduction

---

背景：

全身骨扫描（WBS）在骨转移的鉴别诊断中与MRI具有相似的性能，但其成本远低于MRI

• 磁共振成像（magnetic resonance imaging，MRI）
• 计算机断层扫描（computed tomography，CT）
• 全身骨扫描（whole-body bone scan，WBS）

WBS图像中的异常称为热点（hot spot），通常表现为比周围环境更高的信号强度。但没有骨转移的患者也可以在WBS图像上显示热点。

骨转移的自动诊断方法的发展面临以下几个障碍：

1. 各种非肿瘤性疾病在影像学表现上也表现出异常，导致高灵敏度和低特异性。
2. 为了在不同场景下获得较强的泛化能力，需要一个大的带注释数据集来学习骨转移的特征。然而，以往骨扫描相关研究中使用的数据集均不能满足这一要求。
3. 每个WBS检查包含两个显示前后视图的图像。要分析是否存在骨转移，模型必须将两种观点作为一个单一的检查进行联合分析。

解决方法：

1. 使用深度卷积神经网络（CNNs）从数据中自动提取高级特征。
2. 构建了一个由专业核医学医师注释的大规模WBS图像数据集。
3. 提出了一种接收多个输入的新结构，用于联合分析来自前后视图的图像。

贡献：

1. 构建了一个包含15474个核医学专业医师标记的大规模WBS图像数据集。
2. 提出了一种基于多视点图像的骨转移瘤自动诊断模型。
3. 提出了一种由深度神经网络参数化的特征聚合算子，用于约束检查前后视图的特征。
4. 分类和可视化结果表明，所提出的方法成功地掌握了骨转移瘤的WBS图像特征。

2. Related work

---

• 计算机辅助诊断系统（computer-aided diagnosis systems ，CAD）

2.1 Traditional methods for bone scan analyzing——传统的骨扫描分析方法

---

主要内容：

1. WBS图像的分析主要集中在三个方面：骨扫描指数（BSI）的自动计算、骨转移瘤的自动诊断和热点分割。然而，BSI的计算只是半自动的，并且需要费力的手动过程。
2. 这些方法的分类性能在很大程度上依赖于热点分割，这意味着分割错误可能导致后续分类失败。此外，传统方法依赖于手工特征和阈值，因此缺乏鲁棒性。此外，人工选择特征是一种累人的、主观的、难以提高性能的方法。

2.2 Deep neural networks for bone scan analysis——深度神经网络在骨扫描分析中的应用

---

主要内容：

1. 与传统的图像处理方法相比，Deep-cnn具有许多优点：它们以数据驱动的方式自动提取不同层次的特征，不需要手工构建特征，减少了医生的工作量。
2. 虽然已经有一些研究对骨转移的自动诊断进行了研究，但这些研究中的大多数都是对首先需要从WBS图像分割的热点进行诊断，这一过程可能会引入额外的错误。

2.3 Multi-view fusion——多视图融合

---

主要内容：

1. 具有自然图像的图像分类任务通常一次只包含一个图像，而医学成像中的检查通常带有一组视图。
2. 本文开发了一个使用多视图输入的自动化骨转移诊断框架。

3. Dataset

---

数据标注后，将标注的考试分为训练集、验证集和测试集。

3.1 Materials——资料

---

主要内容：

• 本研究所用WBS图像均来自四川大学华西医院核医学科。共收集记录16341份。
• 所有检查均使用两种设备中的一种进行，一种是分辨率为256×1024像素，另一种是分辨率为512×1024像素。
• WBS图像被标记为恶性（malignant）或良性（benign）。
• 

3.2 Data annotation——数据批注

---

主要内容：

• 纳入13811例患者的15474项注释检查，包括9595例良性诊断和5879例恶性诊断。
• 与以往手动排除误导性示例的研究（Sadik等人，2006；2008）不同，本研究构建的数据集遵循真实世界分布，不排除任何案例，前提是在此数据集上训练的系统更适合常规临床应用。
• 表2和表3列出了数据集中主要病变的类型和发病率。
• 
• 

3.3 Data partition——数据分区

---

主要内容：

• 分别使用12274、1600和1600个样本进行训练集、验证集和测试集。
• 开源

4. Methods

---

首先详细说明了所提出的WBS图像自动诊断体系结构，然后介绍了图像预处理方法。

4.1 Overall architecture——总体架构

---

说明：

1. 一个样本包含两个图像：一个后视图图像和一个前视图图像。
2. 单个样本包含多个图像的数据集可以表示成为 D = { ( X i , Y i ) ;   i = 1 , 2 , … , N } , X i = { x i , 1 , … , x i , j , … , x i , J } D = \{(X_i, Y_i); \, i = 1, 2, \ldots, N\}, \quad X_i = \{x_{i,1}, \ldots, x_{i,j}, \ldots, x_{i,J}\} D={(Xi​,Yi​);i=1,2,…,N},Xi​={xi,1​,…,xi,j​,…,xi,J​} ，Xi表示包含J个图像的数据集中的第i个样本，Xi,J是第i个样本中的第J个图像，Yi是样本Xi的对应标签。对于本研究使用的数据集，J=2，xi,1是后视图像，xi,2是前视图像，Yi∈{恶性，良性}。

总体架构概述:

1. 由于网络的输入不是单一的图像，而是J图像，因此我们开发了一个J路输入网络。
2. 第一部分，采用 深度神经网络$N_{ex}$ 对输入的J图像进行特征提取，得到 $F_{i,J}=N_{ex}(x_{i,J})$ ，这里，xi,j是第i次检查中的第j幅图像，Fi,j表示通过网络Nex提取的xi,j的高级特征。
3. 第二部分，使用 特征融合算子$N_{fu}$ ， $S_i=N_{fu}(F_{i,1},\dots ,F_{i,j},\dots ,F_{i,J})$ 融合第i个样本的高级特征。这里，Si表示融合特征。
4. 最后，利用定制的 分类神经网络$N_{cl}$ 输出真实标签的预测值， $P_i=N_{cl}(S_i)$ ，Pi是应用与样本对应的softmax函数后的模型输出。
5. 通过最小化训练集上的交叉熵代价函数，使用反向传播算法对所提出的体系结构进行训练，定义为 $L=-{\sum }_{i=1}^N{Y}_i^T\ln (P_i)$

4.2 Part one: feature extraction network——第一部分：特征提取网络

---

主要内容：

探讨了几种经典CNN：Inception-V3，DenseNet和SENet

4.3 Part two: feature fusion operator——第二部分：特征融合算子

---

主要内容：

探讨了几种特征聚合策略：

• 最大特征融合算子 $s_{c,w,h}^i={\max }_{j=1,\dots ,J}(f_{c,w,h}^{i,j})$
• 平均特征融合算子 $s_{c,w,h}^i=\frac{1}{J}{\sum }_{j=1}^J{f}_{c,w,h}^{i,j}$
• 空间注意特征融合算子：高级特征在空间位置上加权，并通过求和算子进行聚合。

空间注意特征融合算子：

1. 首先，将特征提取网络提取的高层特征Fi、j通过卷积层，产生空间位置描述符$Mi,j$，$m_{1,w,h}^{i,j}\in R^{1\times W\times H}$。这里，卷积层的核尺寸为1×1，输入通道和输出通道分别等于C和1。
2. 然后，对Mi,j应用sigmoid函数，在空间位置上产生权重描述符$Qi,j$，$q_{1,w,h}^{i,j}\in R^{1\times W\times H}$：$$q_{1,w,h}^{i,j}=\frac{1}{1+e^{-m_{1,w,h}^{i,j}}}$$
3. 最后，将Qi,j乘以Fi,j，并使用求和运算符聚合缩放嵌入：$$s_{c,w,h}^i=\sum _{j=1}^J\left(q_{1,w,h}^{i,j}\cdot f_{c,w,h}^{i,j}\right)$$
4. 图4中描绘了该空间注意块的细节。

4.4 Part three: classification network——第三部分：分类网络

---

主要内容：

1. 设计了一个自定义的标准深度神经网络（SDNN）作为网络最后一部分的分量分类器，将第二部分产生的融合特征映射输入SDNN进行最终预测。
2. 首先采用全局池层对特征地图的空间尺寸进行归一化。
3. 在其后面添加一个全连接层，在全局池层之后添加一个dropout层，以缓解网络过度拟合。drop概率设置为0.7。
4. 在dropout层之后是几个模块，每个模块是三个连续操作的组合：全连接层、批量归一化（BN）和泄漏校正线性单元（LeakyReLU）。所提出的SDNN的架构如图3所示。

4.5 Image pre-processing——图像预处理

---

主要内容：

1. 在输入到模型之前，使用windowWidth设置为47，windowCenter设置为23.5，将HU值转换为范围为[0, 255]的灰度图像。
2. 颜色均反转
3. 提出了一种基于阈值分割的感兴趣区域（ROI）提取算法，从原始图像中提取有效区域。提取的图像分辨率为201×690～975×253像素，高宽比为2.7～4.1。
4. 将所有图像填充到一个统一的高宽比$R_{hw}$来标准化分辨率，并将它们调整到一个统一的大小，以便图像的较小边缘等于256。
5. 在本研究中，比率$R_{hw}$固定为3.4，即整个数据集的平均比率，阈值th固定为10。预处理后的图像分辨率为256×846，几乎没有黑边。

5. Experimental and results

---

首先详细描述了实验配置，包括所提出方法的实现、评估策略和评估度量。然后给出了实验结果和分析。

5.1 Experimental configuration——实验配置

---

Implementation—实现：

所有特征提取网络都在ImageNet数据集上预先训练，然后使用adadelta作为优化器在数据集上进行微调，学习率为0.1，权重衰减率为$10^{-4}$，适用于200个epoch。

Evaluation Metrics—评价指标：

在测试集上评估每个模型的总体性能，使用达到最高精度的验证集。以敏感性、特异性、准确性和F1评分作为评价指标。

Evaluation Strategy—评价策略：

1. 探讨了预处理方法对模型的影响
2. 比较了现有的图像网络预训练网络作为特征提取网络的性能
3. 分析了空间注意块的有效性
4. 将模型与三位有经验的医师进行了比较，进一步验证了方法的有效性

5.2 Input methods——输入方法

---

三种输入方法：

• A）直接将预处理前后图像的大小调整为256×256。该模型输入两幅图像，分辨率为256×256。
• B） 将经过预处理的前后图像直接输入到模型中，改变最终池层的核大小，使池层的输出宽度和高度等于1
• C）直接将预处理的前后图像输入模型，并用空间金字塔池（SPP）层替换模型中的最终池层。
• 这三个实验都使用Inception-V3作为特征提取网络，并使用max特征融合算子。
• 实验结果如表5所示。
• 

5.3 Feature aggregation methods——特征融合方法

---

表6给出了特征提取网络的不同架构和不同特征聚合方法的比较。

从表中可以看出，结合空间注意算子的Inception-V3表现最好。
因此，本文使用了一个带有空间注意特征聚合算子的Inception-V3特征提取网络作为最终架构

5.4 Multi-view versus single view——多视图与单视图

---

结果如表7所示。
以后视图为输入的网络性能优于前视图，表明后视图比前视图包含更多的信息。
此外，多视点融合网络的性能比单纯的前后视点融合网络有了很大的提高。

5.5 Visualization——可视化

---

• 使用引导反向传播算法，引导反向传播算法计算梯度与最活跃的输出层有关的输入。
• 前两幅图像为真阳性病例及其相应的可视化结果。可以清楚地观察到网络中的最大输出神经元与输入图像中的热点区域高度相关。
• 后两幅图像均为假阳性病例及相应的可视化结果。大多数假阳性病例是非典型样本，尽管预测是错误的，但该模型仍然能够聚焦图像中的热点区域。

5.6 Model ensemble and clinical test——模型集成与临床试验

---

• 集成学习是提高单个模型独立训练的性能的有效方法。
• 集成模型的最终预测得分为所有模型的平均softmax得分。
• 

5.7 Comparisons between the model and experts——模型与专家的比较

---

• 将其性能与三位核医学医师进行了比较。
• 这三位专家可分为三个层次：无经验（<800 WBS解释）、中等经验（800-5000 WBS解释）和经验丰富（>5000 WBS解释）
• 

5.8 Analytic experiment——分析性实验

---

所提出的方法具有良好的性能，对于检查次数较少的类型，模型仍显示出显著的召回率。

6. Conclusion

---

主要内容：

• 网络结构基于深度卷积神经网络，由特征提取网络、特征聚合网络和特征分类网络三部分组成，并对几种数据输入方法进行了比较。
• 研究了三种最先进的图像网络预训练网络作为特征提取网络：Inception-V3、DenseNet-169和SE-ResNet-50。
• 构建了一个包含15474个检查项的大规模带注释WBS图像数据集来训练和评估所提出的模型，表现出优越的性能。