Transfer Learning从入门到放弃（一）

Identifying Medical Diagnoses and Treatable Diseases by Image-Based Deep Learning 阅读笔记

Transfer Learning的入门是从王晋东的《迁移学习简明手册》开始的，然而眼睛看会了，脑子却丢了。这篇论文算是对迁移学习的第一次真正入门，不过，笔记大部分估计都是翻译吧，毕竟是要为毕设做准备。

summary

原文

The implementation of clinical-decision support algorithms for medical imaging faces challenges with reliability and interpretability. Here, we establish a diagnostic tool based on a deep-learning framework for the screening of patients with common treatable blinding retinal diseases. Our framework utilizes transfer learning, which trains a neural network with a fraction of the data of conventional approaches. Applying this approach to a dataset of optical coherence tomography images, we demonstrate performance comparable to that of human experts in classifying agerelated macular degeneration and diabetic macular
edema. We also provide a more transparent and interpretable diagnosis by highlighting the regions recognized by the neural network. We further demonstrate the general applicability of our AI system for diagnosis of pediatric pneumonia using chest X-ray images. This tool may ultimately aid in expediting the diagnosis and referral of these treatable conditions, thereby facilitating earlier treatment, resulting in improved clinical outcomes.

译文

这篇论文的主题是迁移学习在医学影像上的作用，因此summary里对论文的概述是从医学角度来的。
医学图像临床决策支持算法的实现面临着可靠性和可解释性的挑战。文中搭建了一个基于深度学习框架的诊断工具，用于筛选常见的可治疗的致盲性视网膜疾病患者。该深度学习网络框架利用了迁移学习（利用传统方法所需的一小部分数据即可训练神经网络）。本文通过将这种方法应用到光学相干断层成像的数据集上，发现在对老年性黄斑变性和糖尿病性黄斑水肿进行分类时，迁移学习得到的网络表现可与人类专家相媲美。文章还通过强调神经网络识别的区域来提供一个更明显更易解释的诊断，并进一步论证了所提出的AI系统用于使用胸透X光片诊断儿童肺炎的能力。最终该工具可能有助于加快这些可治疗疾病的诊断和转诊，从而促进早期治疗，改善临床结果。

笔记

无（天资过于愚钝，看不出所以然）

Introduction

原文

后面正文部分的原文就不放了，给个链接。

译文

AI有潜力对疾病诊断和管理进行革命性的变革，它可以完成人类专家难以完成的分类工作，并可以快速诊断处理大量图像。尽管人工智能具有潜力，但其临床上的可解释性和可行性仍具有挑战。
传统的分类算法的图像分析方法之前依赖于（1）手动的物体分割，紧随其后的是（2）针对每一种物体所设计的统计分类器或浅神经机器学习分类器对分割后的每个物体的识别，并最终（3）实现图像的分类。创建和修缮多分类器需要许多熟练的人员和大量的时间，并且在计算上非常昂贵。
卷积神经网络层的发展使图像分类和图像中目标检测的能力得到了显著提高。图像分析滤波器或卷积核应用于多个处理层。每一层图像的抽象表示是通过系统地在图像上对多个滤波器进行卷积来构建的，从而生成一个特征图，该特征图用作下一层的输入。这种网络结构使得处理使用像素点作为输入的图像得到期望的1122个单元的分类结果作为输出变成了可能。这种image-to-classification（输入图片得到分类结果）的方法代替了以前的图像分析方法的多个步骤。
一种解决给定域数据缺乏的方法是利用来自类似域的数据，这种方法被称为 迁移学习。迁移学习已被证明是一种非常有效的方法，特别是在数据有限的领域。这种模式不同于训练一个完全空白的网络。通过利用一个已经通过识别常见图片集优化的前馈网络框架来确定低精度的权重，再利用反向传播再训练高精度的权重，它能利用更少的训练样例和更少的计算能力，更快地识别一个特定类别图像（例如眼睛的图像）的特点。
本文的研究致力于提出一种有效的迁移学习算法来处理医学图像，为每张图像中的关键病理提供准确及时的诊断。这一技术主要应用于视网膜的光学相干断层扫描（OCT）图像，但该算法也在一组儿童胸片中进行测试，以验证该技术在多种成像模式下的普适性。

笔记

Introduction 一共讲了4个问题：

• AI在医学诊断等方面有潜力。
• 传统分类算法的实现及弊端。
  • 实现步骤：
  1. 图像分割（图像增强）
  2. 物体识别（特征提取）
  3. 图像分类
  • 弊端：
    需要投入大量人员和时间，并对计算机的性能要求很高。
• 卷积神经网络的实现及优势。

  • 网络框架：

    图1 卷积神经网络内部结构

  • 优势：

    图2 image-to-classification

  • 特点：
    卷积神经网络利用卷积核（滤波器）对输入的图像直接作卷积运算，得到的输出作为下一层的输入，且这每一层的输出结果都相当于原图经过图像增强、特征提取后得到的图像特征，因而，利用卷积神经网络可以实现image-to-classification，省去了传统操作中的许多步骤。

• 迁移学习的引入，即本文的研究对象。

results

译文

本文的迁移学习算法主要应用于视网膜OCT图像的诊断。频域OCT利用光捕获高分辨率的活体视网膜截面图集，这些图片可以组装成活体视网膜组织的三维立体图像。全世界每年大约有3000万次OCT扫描，OCT已经成为最普遍的医学成像技术之一。OCT影像现在是一种标准的治疗方法，用于指导世界范围内一些主要致盲原因的诊断和治疗：年龄相关性黄斑变性（AMD）和糖尿病性黄斑水肿。在美国，大约有1000万人患有AMD，每年有超过20万人患上脉络膜新生血管（一种严重的致盲性AMD）。此外，将近75万年龄在40岁或以上的患者患有糖尿病性黄斑水肿， 这是一种威胁视力的糖尿病性视网膜病变，涉及到视网膜中央的积液。随着时间的推移，由于人口老龄化和全球糖尿病流行，这些疾病的患病率可能会进一步增加。幸运的是，抗血管内皮生长因子(anti-vascular endothelial growth factor, anti-VEGF)药物的出现和广泛应用彻底改变了渗出性视网膜疾病的治疗，使患者能够保留有效的视力和生活质量。OCT对指导anti-VEGF治疗至关重要，它提供了在允许单个视网膜层的可视化的条件下视网膜病理学的清晰的横断面表示，这在肉眼或彩色眼底摄影的临床检查中是不可能的。

笔记

介绍了OCT以及OCT在临床上的重要性。

Patient and Image Characteristics

译文

最初，作者收集了207,130张OCT图像。其中来自4686名患者的108,312张图像(37,206张脉络膜新生血管，11,349张糖尿病黄斑水肿，8,617张脉络膜小疣, 51,140张正常)通过了最初的图像质量检查，并被用来训练模型。模型使用来自633名患者的1000张图像(每个类别250张)进行了测试。表S1（原文中）列出了每个诊断类别的患者特征。经过100次迭代，模型的交叉熵损失和准确性不再进一步提高，训练终止。

笔记

表1 OCT图像数量分布

图像类别	训练集	测试集
脉络膜新生血管	37206	250
糖尿病黄斑水肿	11349	250
脉络膜小疣	8617	250
正常	51140	250
总计	108312	1000

Performance of the Model

译文

文章通过诊断最常见的致盲视网膜疾病评估了这一模型。该模型将脉络膜新生血管图像和糖尿病黄斑水肿图像归类为“urgent referrals”——这些情况需要紧急转诊给眼科医生进行明确的anti-VEGF治疗；如果治疗延迟，就会增加出血、瘢痕或其他导致不可逆视力损害的下游并发症。模型将脉络膜小疣（一种脂质沉积，表现为干性黄斑变性）图像归类为“routine referrals”——anti-VEGF药物不用于干性黄斑变性；因此，将脉络膜小疣转诊给眼科专家是不必要的。正常图像被标记为“observation”。在这四种类型图像的多分类比较中，准确性为96.6%，敏感性为97.8%，特异性为97.4%，加权误差为6.6%。ROC曲线的生成是为了评估模型区分脉络膜小疣、正常检查和紧急转诊(脉络膜新生血管或糖尿病黄斑水肿)的能力。ROC曲线下面积AUC=99.9%。
我们也训练了一个用于分类这四种图像的“有限模型”，该模型在训练过程中只使用了从每一类别的图像中随机选取的1000张图像，以比较迁移学习模型在有限数据和大数据上的训练性能。在同样的测试集上，该模型的准确率达到了93.4%，灵敏度为96.6%，特异性为94.0%，加权误差为12.7%。ROC曲线下面积AUC=98.8%。
文中用二分类器在同一数据集上来分别区分三种病症和正常图像，以确定模型性能。将脉络膜新生血管图像与正常图像区分开来的分类器，准确率为100.0%，灵敏度为100.0%，特异性为100.0%，AUC=100.0%。将糖尿病黄斑水肿图像与正常图像进行分类，其准确率为98.2%，敏感性为96.8%，特异性为99.6%，AUC=99.87%。将脉络膜小疣同正常图像进行区分的二分类器，其准确率为99.0%，敏感性为98.0%，特异性为99.22%，AUC=99.6%。

笔记

表2 OCT图像数量分布

图像类别	标记
脉络膜新生血管	urgent referrals
糖尿病黄斑水肿	urgent referrals
脉络膜小疣	routine referrals
正常	observation

表3 difference between big data & limited model & all binary classification

评估	big data	limited model	cn1	dm 2	drusen
accuracy	96.6%	93.4%	100%	98.2%	99.0%
sensitivity	97.8%	96.6%	100%	96.8%	98.0%
specificity	97.4%	94.0%	100%	99.6%	99.22%
weighted error	6.6%	12.7%	-	-	-
AUC	99.9%	98.8%	100%	99.87%	99.6%

Comparison of the Model with Human Experts

译文

用一个由633名患者的1000张图像组成的独立测试集用来比较人工智能网络和人类专家的诊断结果。一个学术眼科中心的六名有丰富临床经验的专家仅使用患者的OCT图像对每个测试患者做出诊断。临床上最重要的需要紧急转诊的患者(脉络膜新生血管或糖尿病黄斑水肿患者)与正常患者进行区分的决策表现为ROC曲线，AI系统与人类专家的表现不分伯仲。在建立了一个标准的专家表现评估系统之后，文章作者接下来比较了所搭建网络和人类专家之间的病人诊断决策的潜在影响。将专家的敏感性和特异性绘制在训练模型的ROC曲线上，并以似然比衡量模型与人类专家诊断效能的差异，确定其在95%的置信区间内具有统计学相似性。然而，单纯的错误率并不能准确地反映一个错误的转诊决定可能对一个病人的结果产生的影响。举例来说，当病人正常或患有脉络膜小疣，但被错误地标记为紧急转诊时，就会出现假阳性结果，这可能会给病人带来不必要的痛苦或不必要的排查，并给医疗系统带来额外的负担。然而，假阴性结果要严重得多，因为在这种情况下，脉络膜新生血管或糖尿病黄斑水肿患者没有恰当归类，这可能导致不可逆的视力损失。为了解决这些问题，作者在模型评估和专家测试中加入了加权误差评分。通过将这些惩罚点分配给模型和专家做出的每个决策，我们计算出每个决策的平均误差。
在此加权误差系统下，最佳卷积神经网络模型的得分为6.6%。专家的加权误差范围为0.4% ~ 10.5%，平均加权误差为4.8%。图中（原文）以混淆矩阵的形式描述了每个专家在其预测标签与真实标签之间的相关性方面的具体表现。从图4中可以看出，根据这个加权比例和ROC曲线，最佳模型的表现优于部分人类专家。

笔记

假阴性和假阳性是两类错误，同为错误，所造成的后果和损失却不一样。这是属于模式识别的基础，虽然我还是很容易弄混（特别是用上字母表示），但假阳性会造成精神损失，而假阴性则会因误诊而造成对生命的摧残。这篇论文中提出的模型使用了加权系统，用最佳的加权系统配上神经网络模型所训练出的结果和专家预测结果进行对比，文中所提到的模型的表现并不亚于人类。

Occlusion Testing

译文

我们对491幅图像进行了遮挡测试，以识别对神经网络分配预测诊断最重要的区域。该测试成功识别了94.7%的图像中对深度学习算法贡献最大的感兴趣区域。通过闭塞测试，Drusen在所有图像中均被正确定位，而脉络膜新生血管的准确性为94.0%，糖尿病黄斑水肿的准确性为91.0%(表S3)。此外，这些通过闭塞试验确定的区域也被人类专家证实是最重要的病理学临床领域。

笔记

Application of the AI System for Pneumonia Detection

译文

为了研究我们的人工智能系统在常见病诊断中的通用性，我们将相同的转移学习框架应用于小儿肺炎的诊断。根据世界卫生组织(WHO)的数据，肺炎每年导致约200万名5岁以下儿童死亡，并一直被认为是导致儿童死亡的单一主要原因，导致死亡的儿童比艾滋病毒/艾滋病、疟疾和麻疹加起来还要多。世界卫生组织报告说，几乎所有新发病的儿童临床肺炎病例(95%)都发生在发展中国家，特别是在东南亚和非洲。细菌和病毒病原体是导致肺炎的两个主要原因，但需要非常不同的管理方式。细菌性肺炎需要立即转诊进行抗生素治疗，而病毒性肺炎则需要给予支持性护理。因此，准确及时的诊断是非常必要的。诊断的一个关键的要素是影像学数据，因为胸部X光检查通常作为保健的标准，并可以帮助区分不同类型的肺炎。然而，图像的快速放射学解释并不总是可用的，特别是在低资源环境中，儿童肺炎的发病率和死亡率最高。为此，我们还调查了我们的转移学习框架在对儿童胸部x光片进行分类以检测肺炎的有效性，以及进一步区分病毒性和细菌性肺炎，以促进需要紧急干预的儿童的快速转诊。
我们收集并标记了5232张来自儿童的胸透图像，其中包括3883张表现为肺炎(2538张细菌和1345张病毒)和1349张正常的胸透图像。这些图像来自5856名患者，用于训练人工智能系统。然后用624名患者的234张正常图像和390张肺炎图像(242张细菌图像和148张病毒图像)对模型进行测试。然后用624名患者的234张正常图像和390张肺炎图像(242张细菌图像和148张病毒图像)对模型进行测试。在模型的100个epoch(整个数据集的迭代)之后，由于在损失和准确性方面缺乏进一步的改进，训练就停止了。
在表现为肺炎与正常的肺部X射线图像的比较中，我们获得了92.8%的准确性，93.2%的敏感性，和90.1%的特异性。肺炎的ROC曲线下面积AUC为96.8%。对细菌性肺炎和病毒性肺炎的二分类，其检测准确性为90.7%，敏感性为88.6%，特异性为90.9%。区分细菌性和病毒性肺炎的ROC曲线下面积为94.0%。

Discussion

译文

在这项研究中，我们描述了一个通用的人工智能平台，用于诊断和转诊两种常见的导致严重视力丧失的原因:糖尿病性黄斑水肿和脉络膜新生血管。

---

一堆东西

---

STAR-METHOD

KEY RESOURCES TABLE

——数据集下载链接

CONTACT FOR REAGENT AND RESOURCE SHARING

——联系人

EXPERIMENTAL MODEL AND SUBJECT DETAILS

译文

Images from Human Subjects

光学相干断层扫描(OCT)图像来自于由Shiley眼科研究所的加州大学圣地亚哥,加州视网膜研究基金会,医疗中心眼科协会,上海市第一人民医院、北京同仁眼科中心在2013年7月1日到2017年3月1日之间提供的的可溯源的成人患者群体。所有OCT成像均作为患者日常临床护理的一部分，没有基于年龄、性别或种族的排除标准。我们在当地的电子医疗记录数据库中查找脉络膜新生血管、糖尿病性黄斑水肿、脉络膜小疣和正常的诊断，以便初步分配图像。根据制造商的软件和说明，以标准的图像格式下载OCT扫描的水平中心凹切口。胸片(前后)选自广州市妇幼医疗中心1 ~ 5岁儿童患者的回顾性队列。所有胸部x线影像均作为患者日常临床护理的一部分。获得了机构审查委员会(IRB)/伦理委员会的批准。这项工作是按照《美国健康保险可携性和责任法》进行的，并遵循《赫尔辛基宣言》的各项原则。

笔记

这里也算是我们不用关注的部分

METHOD DETAILS

译文

对OCT检查进行解读以确认诊断，然后做出转诊决定(脉络膜新生血管或糖尿病黄斑水肿“紧急转诊”，脉络膜小疣“常规转诊”，正常“仅观察”)。该数据集代表了在所有参与诊所就诊和接受治疗的最常见的医学视网膜患者。
胸部x线检查被解释为确诊，然后做出转诊决定(细菌性肺炎“紧急转诊”，病毒性肺炎“支持性护理”，正常肺炎“仅观察”)。

Image Labeling

在训练之前，每幅图像都要经过一个分层的评分系统，该系统由多层经过训练的分类机组成，这些分类机的分类能力不断增加，用于对图像标签进行验证和校正。导入数据库的每个图像都以匹配患者最新诊断的标签开始。一年级的学生包括本科生和医科学生，他们参加并通过了OCT转译课程的复习。

笔记

---

1. choroidal neovascularization images 脉络膜新生血管图像（表格放不下缩写了） ↩︎

2. diabetic macular edema images 糖尿病黄斑水肿 ↩︎