论文笔记——Comparing to Learn

---

论文下载：

https://arxiv.org/pdf/2007.07423.pdf

论文代码：

https://github.com/funnyzhou/C2L_MICCAI2020

---

论文摘要：

在深度学习时代，预训练模型在医学图像分析中发挥着重要作用，其中ImageNet预训练作为最佳方法被广泛采用。作者也提到，自然图像和医学图像存在着明显的领域差距，比如CT图像和一般的RGB图像。所以作者提出了一种新的预训练方法，称为“比较学习(Comparing to Learn)”，顾名思义它通过比较不同的图像表示来学习稳健的特征，可以从700k张X光片中学习，无需人工注释(无需标签)，这就表明它是无监督学习(论文中提到的自监督学习实际上是无监督学习的一个变种)。在x光片的实验结果表明，C2L(C to L)能让模型性能明显优于ImageNet预训练以及先前提出的模型。

---

新的自监督：

要想提高模型，数据集是重要的一环，但是关于医学影像数据集的相关医学注释往往涉及患者隐私，并且医疗资源(专业标注医学注释人员少)有限，所以该文的焦点是如何开发不加注释(无标签)的从海量数据中学习的算法。

本文的C2L（比较学习）是通过比较不同的图像特征来获得泛化的图像表示，从而用这个标准慢慢训练成一个监督学习网络。在本文，作者主要关注功能水平对比(feature level contrast)，并且通过混合图像和特征批提出构造同构和异构数据对(homogeneous and heterogeneous data pairs)。还提出一种基于动量的师生网络(momentum-based teacher-student architecture)用于对比学习，师生网络共享相同的结构，但更新的方式不同，具体来说，教师模型通过自身和学生网络进行更新。

---

教师学生网络：

关于同构和异构图像数据对的定义以及C2L框架的演示：

Q中的浅色方块表示过去的特征(past features)，分别为V2A 、Vm、V2M。

图中蓝色模块nets为学生网络，黄色模块nett为教师模块，可以看到nett是通过和nets进行更新的，将X1A和X1M传递给学生网络，将X2A和X2M传递给教师网络。

同构异构对中，左下为同构对，包括V1A和V2A、V1M和V2M等。右下为异构对，多个类似V1A和Q等数据对。

---

算法流程：

假设每批XiA(i为1或2)包含Z张图像，随机对XiA进行打乱去构造成对的批XiM，λ~β(1.0,1.0)代表β分布，可以表示为：

作者提到，对学生网络(nets)和教师网络(nett)使用相同的模型在实际应用中并不奏效，可能导致梯度爆炸。

利用动量(momentum)更新网络有助于稳定训练过程，降低网络优化的难度(Algorithm1中的第17行)，用指数因子θ来控制动量的程度，动量函数可以表示为：

C2L的目标是最小化同构对之间的距离，例如(V1A,V2A)和(V1M,V2M)，同时它也需要最大化异构对之间的区别。这就需要对比目前收集的数据和先前的数据。使用已经提出的记忆队列Q，用于保存特征向量以进行迭代优化。

ViQ表示为Q中的一个特征向量，其中i={1,2,…,N}，N为队列长度。可以把复杂的距离测量问题转化为简单的分类问题，Algorithm1的第12行具体可以表示为：

上图的长度为N+1将V1M与Vm和Q进行比较，从而得到另一组N+1预测：

---

数据集：

1、ChestX-ray14:

训练集包含86k张图像，而验证集包含25k张x射线。消融研究中，使用训练集中的70k幅图像进行自监督预训练，其余16k幅图像进行微调，显示预训练结果。确定合适的超参数后，将整个训练集合并到其他三个数据集。总的来说，C2L使用了700k未标记的x光片进行模型预训练

2、CheXpert：

训练集有220k幅图像，官方验证集有234幅图像。与ChestX-ray14类似，只使用不带标签的训练集进行自监督的预训练

3、MIMIC-CXR:

MIMIC-CXR数据集是一个大型的公开可用的JPEG格式胸片数据集，带有来自自由文本放射学报告的结构化标签。数据集包含377,110张JPEG格式图像。在实践中，作者将整个数据集视为一个未标记的数据库

4、MURA:

MURA是骨骼x射线的数据集。训练集包含36k个x射线，验证集包含3k个图像。使用整个数据集进行C2L预训练

5、kaggle肺炎检测：

这个数据集是为肺炎的自动和准确诊断而设计的。作者在阶段1中将训练集分成一个局部训练集(80%)和一个验证集(20%)。评价指标为平均平均精度

---

实验结果：

Mix表示传统的混合方法，Bat、Feat分别是Batch和Feature的缩写。作者报告了在ChestX-ray14中14个类别的性能。最好的结果用粗体显示，次之的结果用下划线显示：

Q、Mix的增强策略和长度的影响：

MG表示Model Genesis，MoCo表示Momentum Contrast，使用ChestX-ray14的结果：

Kaggle肺炎数据集不同预测分数阈值下的平均平均精度(mAP)结果：

---