肺炎多分类任务BASE

针对backbone的分类网络具有Resnet系列、Densenet系列、Inception系列，常借助辅助手段（FPN、attention、决策树、lasso等）提高模型性能
其中Resnet50v2 和 covid-net在四分类中取得不错的效果。
1.数据集
2.评价指标
基于分类任务的常见评价指标：
召回率（recall）、精准率（precision）、特异性（specificity）、准确率（accuracy）、FI-score、ROC曲线和AUC指标。
3.模型
Deeplearning enables accurate diagnosis of novel coronavirus with CT images
以275例病人（88covid-19、101个细菌性肺炎、86健康）resnet50作为特征提取器，添加特征金字塔网络和注意力模块，并设计细节关系提取神经网络DRE-Net提取CT图像中的细节，实验结果肺炎二分类准确率0.86，肺炎诊断covid-19或健康准确率0.94。

医学图像分类任务中的SOTA包括VGG19，MobleNet、Xception、Inception和Inception-ResNet v2

论文阅读

1.

针对covid-19、正常、细菌性肺炎的三分类的CT肺部诊断，该模型基于resnet50增加FPN和attention模块（多尺度的注意力模块）。

代码分析:
结果分析：
首先val test的值最高在10 epoch之内为0.59，其次随着训练的增加train的acc无限接近于1，但是test和val的acc却在0.1-0.3之间徘徊了，我猜测应该是训练集没有学到真正的分类特征。

2.CheXNet: Radiologist-Level Pneumonia Detection on Chest X-Rayswith Deep Learning

数据集

ChesX-ray 14 数据集包含 30，805 名独特患者的 112，120 张正面 x 光图像。在放射学报告中提取14种不同胸部病例标签。将数据集随机分为训练(28744 名患者，98637 张图像)、验证(1672 名患者，6351 张图像)和测试(389 名患者，420 张图像，在该阶段将放射科医生与模型的结果与真实信息进行对比)。两组之间没有患者重叠。

们将图像缩小到 224×224，并基于 ImageNet 训练集中图像的均值和标准差进行归一化。我们还用随机水平翻转来扩充训练数据。

模型

优化了加权二元交叉熵损失：
网络的权重是用来自 ImageNet 上预处理的模型的权重初始化的。使用带有标准参数的
Adam(β1 = 0.9，β2 = 0.999)对网络进行端到端训练(Kingma & Ba，2014)。我们用 16 号的小批量训练模型.我们使用 0.001 的初始学习率，在一个时期后，每次验证损失达到平稳时，学习率衰减10 倍，并选择验证损失最低的模型。

10万个肺炎X-ray数据输入121-CNN模型14种疾病分类

模型解释

3.ChestX-ray8: Hospital-scale Chest X-ray Database and Benchmarks onWeakly-Supervised Classification and Localization of Common Thorax Diseases

使用NLP的方法建立数据库，利用医学文本语料库对各个报告进行标签的确认。 由于样本分布不均，各个症状的label确认准确率最少可达0.6-0.9整个区间。

分类和病理定位模型框架

首先检测每个x射线图像中是否存在一种或多种病理，然后我们可以使用从网络中提取的激活和权重来定位它们。我们通过训练多标签DCNN分类模型来解决这个问题。

相反，我们在最后插入一个过渡层、全局池化层、预测层和损失层(在最后一个卷积层之后)。以[52]中描述的类似方式，结合来自过渡层(一组空间图像特征)的深层激活和预测内积层(训练的特征加权)的权重，可以使我们找到疾病的可能空间位置
Developing an Efficient Deep Neural Network for Automatic Detection of COVID-19 Using Chest X-ray Images 21Q3

Deep learning-based improved snapshot ensemble technique for COVID-19 chest X-ray classification 21Q1

contribution：
1.使用多个指标评估，如AU-ROC，AU-PR，精度，召回，特异性，精度，f1-得分和杰卡指数。
2.数据增强处理样本不平衡问题:
数据不平衡问题使模型或多或少偏向于某些类别[4]。建议的方法使用数据增强方法解决类不平衡问题，这种方法人为地将图像添加到较少的类别中，以与最大类别的类别相等。建议的方法随机选择并复制属于类的图像，样本较少，以便在重新采样时创建重复图像。但是，由于深度神经网络在大量数据中表现更好，因此数据增强有助于创建图像，以各种可能的角度描绘其类的特征。数据增强可确保训练有素的模型能够以更高的精度从图像获得的任何角度预测类。用于数据增强的不同技术如下：
随机旋转范围内的图像（0 到 180）
随机缩放图像
水平随机移动图像
垂直随机移动图像
随机水平翻转图像
随机垂直翻转图像

3.Snapshot ensemble technique

模型

转移学习：
"浅调"只适应最后一个分类层，以适应新的任务，并冻结剩余层的参数，而不训练：
"深度调整"旨在从端到端重新训练预训练模型的所有参数：
"微调"旨在通过调整学习参数来不断培养更多的层次，以实现相当大的性能提升。

Snapshot Ensembles论文解读

神经网络的学习是非凸优化，一般而言只能收敛到局部最优点，而局部最优点的个数随参数量成指数型增长[1][2]发现几乎所有的局部最优点都很（在损失函数值的意义上）接近全局最优点。虽然这些局部最优有相近的损失值，但它们却有不同的泛化特性。[3]发现flat minimizers比sharp minimizers有更好的泛化性。极小值的领域是否平坦可以用 Hessian矩阵 的特征值来表征。其几何意义为空间的曲率，特征值越大，曲率越高，自然空间就越不平坦。sharp minimizers对泛化不友好可以看下图理解：
（ps：这也是选择较小的batchsize的原因）

[3]主要用这一点来解释一个实际训练模型观察到的现象：使用小的batch size和大的batch size训练出来的模型之间有一个泛化间隙**。batch size设置过大，估计的梯度包含的噪声不足以跳出sharp型的局部最优**，导致模型收敛到sharp minimizers，泛化能力差。学习率lr跟batch size一样，对最终收敛有相似的影响，大的lr更容易跳出sharp minimizers。基于这一点，[4]提出CLR，在一个固定的区间内周期的调整学习率；[5]提出SGDR，周期的重启学习率。它们的目的都是在学习过程中充分的探索性能曲面，尽可能找到更优的局部极小点。
Snapshot Ensemble就是受前面性能曲面研究的启发，针对传统集成方法（不同的初始权重训练得到多个模型。这些模型收敛到不同的局部最优，它们会犯不同的错误。最后用这些不同的模型对测试数据进行投票）训练代价过大的缺点提出来的。
主要方法：
因为每个弱模型都需要从头训练，导致传统的集成方法训练代价大。每个弱模型其实就是对应于性能曲面上的一个局部极小点，如果有一种方式不用每次从头开始训练就能找到多个局部极小点，那么这个问题就解决了。基于对性能曲面的研究发展来的学习率调整策略[4,5]刚好可以在训练的过程中探索多个局部最优点。论文中作者是使用的SGDR[5]这种学习策略。SGDR策略分两部分，首先它从一个max_lr按cosine annealing的方式递减到base_lr，然后再restart，即把学习率重新设置为max_lr，最后在整个学习过程中周期的重复这两部分。其学习率变化曲线大致如下：
每次restart后，模型开始探索其他局部最优，cosine annealing后模型收敛到一个局部最优。这样在学习过程中的每一个周期结束时就能得到一个弱模型，它不用每次重新训练，而只是训练过程中的一个快照（下图中插旗的地方）。

从上图还能看出，由于探索是局部的，所以得到的弱模型之间有相关性，其多样性会受到影响，从而影响最终ensemble模型的性能。作者后面的实验也证实了这一点。

其他论文介绍

Hemdan等人[23]利用一种叫做COVIDX-Net的深度学习模型来分析COVID-19胸部X射线图像，其中包含7个CNN模型。王等人（58岁）提出了一个深度学习CNN模型，利用胸部X光检查COVID-19识别（COVID-Net），在对COVID-19、非COVID肺炎和正常类进行分类时，获得了92.4%的准确率。阿波斯托洛普洛斯等人[5]使用 224 张正 COVID-19 图像构建了深度转移学习模型。该模型实现了二进制等级的 98.75% 精度和多类数据的 93.48% 进度率。阿里·纳林等人[36]使用 CXR 图像与 ResNet50 模型相结合，实现了 98% 的 COVID-19 识别精度。

最近，Sethy和贝赫拉（48岁）提出了一个基于CNN的模型，该模型依赖于不同的图像网预先准备的模型来提取高级功能。这些功能作为机器学习分类器输入到 SVM 中，以区分 COVID-19 CXR 图像。上述研究表明，ResNet50型号与SVM分类器的结合产生了有益的效果。上述研究表明，转移学习可以分离与COVID-19疾病识别的关键生物标志物。哈什·潘瓦尔等人**[40]已经开发出nCOVnet（即通过分析X射线检测COVID-19的快速筛选方法），这是一种深度神经网络方法。鲁道夫·佩雷拉等人利用重新采样方法开发出RYDLS-20模型[41]**。该模型使用 CXR 图像数据库，并获得了 0.65 f1-得分

Turker Tuncer 等人**[57]已应用自动残余示例本地二进制模式和基于迭代救济基金的方法进行 COVID-19 肺 X 射线图像分类。穆罕默德·拉希姆扎德和阿博法兹尔·阿塔尔（43岁）还提出了一个经过改进的深CNN模型，通过将Xception和ResNet50V2方法串联在一起，用于检测CXR图像中的COVID-19和肺炎。阿斯玛·阿巴斯等人[1]提出了另一种名为DeTraC（分解、传输和撰写）的深CNN模型，通过调查类边界对COVID-19 CXR图像进行分类，并处理随机图像。图林·厄兹图尔克等人提出了一种使用暗网模型和传输学习方法的CXR图像的自动COVID-19检测方法（暗网）。最近，Perumal等人[42]**提出了一个转移学习模型，以加快预测过程，并协助医疗专业人员使用CT扫描和CXR图像识别COVID-19。但是，用于识别 COVID-19 的测试速度不够快。建议的方法克服了使用自动深度学习技术长时间测试的局限性。拟议的方法允许在更短的时间内取得成果，特别是在病毒发展的初始阶段。
[1]Classification of COVID-19 in chest X-ray images using DeTraC deep convolutional neural network 21Q1
[5] Covid-19: automatic detection from X-ray images utilizing transfer learning with convolutional neural networks 20Q4
[23]COVIDX-Net: a framework of deep learning classifiers to diagnose COVID-19 in X-ray images. arXiv:2003.11055
50张，VGG19，Densenet121能达到0.9
[36] Automatic detection of coronavirus disease (COVID-19) using X-ray images and deep convolutional neural networks. arXiv archivePrefix
[40] Application of deep learning for fast detection of COVID-19 in X-Rays using nCOVnet. 数学类20Q1
[41]COVID-19 identification in chest X-ray images on flat and hierarchical classification scenarios. Comput Methods Programs Biomed 20Q1
[42] Detection of COVID-19 using CXR and CT images using Transfer Learning and Haralick features. Appl Intell 21Q1
[57]An automated residual exemplar local binary pattern and iterative ReliefF based COVID-19 detection method using chest X-ray image. Chemomet Intell Labor Syst. 21Q1Q2