Boosted Cascaded Convnets for Multilabel Classification of Thoracic Diseases in Chest Radiographs翻译

@[TOC]增强级联Convnets在胸片胸廓疾病多标记分类中的应用Boosted Cascaded Convnets for Multilabel Classification of Thoracic Diseases in Chest Radiographs
翻译

原文连接: https://arxiv.org/abs/1711.08760.
侵删

摘要：
胸部x光是诊断多种疾病最容易获得的医学影像技术之一。随着ChestX-ray14的可用性，它是一个大规模的胸部x光图像数据集，并为14种胸腔疾病提供注释;通过训练深度卷积神经网络(DCNN)来构建计算机辅助诊断(CAD)系统是可能的。在这项工作中，我们实验了一组深度学习模型，并提出了一个级联深度神经网络，可以更好地诊断所有14种病理，并与其他已发表的方法竞争。我们的工作为回答数据集的以下研究问题提供了定量结果:
使用什么损失函数从头开始训练深度DCNN在CXR14上会显示高类不平衡和标签共出现。
如何使用级联建模标签依赖和提高深度学习模型的准确性?

Introduction
介绍医学CAD越来越受到关注。其中多标签分类跟分割备受关注。CXR14存在一些问题：
1.这个数据集在单个类的实例数量上存在严重的不平衡
2.每个类和其它类的同现实例非常多
解决多标签分类存在的问题，需要结合使用鲁棒学习方法的标签依赖。
现有的解决标签依赖的方法：
1.二元依赖
将n多标签转化为n个二元标签分类问题，忽略了标签之间的依赖关系
2.链分类
3.k标签的标签能量集
类数量增多时模型变得很难处理
4.使用递归神经网络建模
不能对类标签之间的复杂依赖建模
5.PWE损失
内在的建模标签依赖，最大化正负标签的maigin。有：hinge loss、margin loss。非光滑，对于优化带来了问题。
此外，有经验证据表明，与单一分类器相比，集成方法(如级联、增强等)可以提高性能。尽管，集合如何帮助提高泛化的确切机制仍然是有争议的
本篇文章从头开始训练，而不是微调一个网络。希望学习更具体潜在疾病特征。训练了一个使用交叉熵损失的BR和一个使用PWE的基线结构对比。 此外，我们提出了一种新颖的级联架构，该架构从集合挖掘和硬示例挖掘技术中获益。我们设计了这样的体系结构，它在本质上建模类之间的标签依赖关系。
这篇文章的贡献：

1. 我们对ChestX-ray14数据集从无到有地训练深度学习体系结构，采用迁移学习的方法从基线得到更好的结果。
2. 我们实验了两种计算多标签分类损耗的标准方法:BR和PWE损耗，并给出了比较结果。
   3.我们设计了一种专为ChestX-ray14数据类型的多标签分类任务量身定制的增强级联架构。所提出的方法建模了类标签之间的复杂依赖关系，并受益于增强方法的训练策略，与使用交叉熵和PWEloss训练的单一分类器相比，提供了更好的性能。

我们使用DenseNet161[3]架构开发了我们的方法，并使用了[12]中描述的两两误差损失的更平滑版本。我们的级联方法的灵感来自基本的Adaboost[8]方法，该方法在训练不同的分类器时对单个示例进行加权。将前一级级联的输出转发到下一级的方法与Zeng等人用于目标检测的方法有相似之处。与他们的工作不同，我们将前面所有级联级别的输出转发到架构中的下一个级联级别。

方法：
2.1二元依赖
正例数目明显少于负例，使用加权后的交叉熵损失函数，通过惩罚在积极类实例上的错误n/p，其中n和p对应的频率分别为消极和积极实例。
此外，我们对多数类进行了欠采样，对少数类进行了过采样，以避免由于类发生频率和共现频率的不平衡而产生的偏倚。
没有考虑类内部的关系

2.2PWE损失
PWE损失最大限度地扩大了每个正类与负类之间的分数差距，并基于简单的逻辑推理，即学习每个正类与负类对之间的关系就足以学习所有类之间的内部类关系。
使用平滑PWE损失分离一个例子中每个正类和每个负类的概率分数。在分类器层利用sigmoid函数输出。使用了BR方法中提到的采样技术，以避免类平衡的不良影响。

3.增强级联
使用二元关联的级联多重预测可以提高多标签分类的性能。我们训练了一个级联网络使用带有交叉熵损失和PWE损失的二元方法作为基线网络。C-BR和C-PWE。每一个后续的级别都接收到来自前面所有级别的预测作为输入。

这使得级联网络模型中的不同层次在每个类之间存在非线性依赖关系，同时从前面所有层次的错误中学习。
通常级联不同层级被训练通过原始训练集的分割，这是由标准的集成方法驱动的，其中许多弱分类器的集合被训练，其中每个都独立地为较小的数据集调优。这大大减少了单个分类器的训练数据量。但仅适用于简单的模型集合：决策树，支持向量机。在小数据集神经网络容易过拟合。我们训练不同层级使用整个训练数据集。此外，我们根据难度等级对数据点进行加权采样，对以往级联等级难以分类的数据点进行更多的训练。

在训练每层级联层后，损失被计算对于每个训练样本，给出每个数据点的困难级别根据第一级分类器。然后数据点被采样根据概率为训练下一层级联层。使得进入下一层的数据点中较难分类的数据点容易与较简单分类的数据点。后面的分类器会越来越集中于更难于分类的数据。
修改DenseNet161最后的全连接层包含两倍的输出单元，输出被重塑为计算独立的softmax激活每个类的背景。最后计算加权交叉熵损失。

6层级联对于交叉熵损失和PWE损失。SGD优化器

姚等人提出的LSTM基于CXR14
Rajpurkar使用121层卷积神经网络分类，最优

结论：
我们实验了一套深度学习方法对ChestX-ray14数据集的多标签分类，并提供了可与先进水平相媲美的结果。我们为数据集的多标签分类任务提供了交叉熵和两两误差损失的比较结果。此外，我们实现了一个级联网络，提高了深度学习模型和建模标签依赖关系的性能。综上所述，本研究为胸部疾病的自动诊断提供了乐观的结果。然而，未来的工作与疾病定位和改善分类性能的建议。