阅读笔记：An explainable deep-learning algorithm for the detection of acute intracranial haemorrhage from

阅读笔记: An explainable deep-learning algorithm for the detection of acute intracranial haemorrhage from small datasets

Lee, H., Yune, S., Mansouri, M. et al. An explainable deep-learning algorithm for the detection of acute intracranial haemorrhage from small datasets. Nat Biomed Eng 3, 173–182 (2019).
原文链接

背景

动机：
高性能计算和大数据带动了基于深度学习的图像识别技术在各个领域的发展。然而深度学习系统对大数据量的需求以及其内在的黑箱特性导致了医学深度学习系统在发展和临床应用转型中仍旧存在很多困难。
由于涉及到各类道德、法律和个人隐私等问题，医学数据很少在不同机构和组织间共享，收集大量可用的医学数据用于训练深度学习系统是一件很困难的问题。其次，收集到数据后，还需要医学专家对图像进行手动标注，说明图像病变类别、类型，尤其是对分割问题，需要专家手动画出精确的病变区域作为分割的参考集。因此，当图像数据量满足需求时，手动标注便成为一项极其费时费力、成本非常高的工作，这也阻碍了深度学习系统在临床医学图像分析上的发展和应用。
此外，在医学诊断问题中，美国食品药品监督局明确规定所有的临床辅助决策软件必须能够给出明确的依据或理由来支撑所做的决策，使专家能够直接对所作决策进行评价和判断。而深度学习系统的黑箱特性势必无法满足这一要求。

基于以上问题，本文使用一个小型的不平衡数据集（非增强脑部CT扫描图像集）搭建了一个可理解的算法，用于精准快速地对急性颅内出血（ICH）进行检测和分类，解决医学深度学习系统中的小数据集及可解释性的问题。

临床意义：
临床意义：急性颅内出血风险非常大，必须及时进行检测，并需要与缺血性脑卒中进行区分，来进行对应的诊断与治疗。在医院缺少放射科专家时，仅凭一般医护人员可能难以准确地对病症进行诊断并排除急性出血的可能，因此凭借这一由放射科专家辅助训练的系统可以为医护人员提供可靠的建议，辅助进行临床诊断和治疗。

Results 成果

文中提出的用于ICH检测和分类的系统如上图Fig.1所示。该系统主要包括四个模块：图像预处理模块（preprocessing）、基本网络骨架模块（backbone）、参考地图集（atlas）创建模块、预测基（prediction basis）提取模块。系统的输出由三部分组成：预测基（prediction basis）、注意力图（attention maps）、预测结果（predictions）。

系统的基本网络骨架由4个（经过大型图像数据集）预训练的深度卷积神经网络（DCNN）组成：VGG16、ResNet50、Inception-v3、Inception-ResNet-v2。

图像预处理模块是为了对小型非平衡数据集中的图像进行增广等处理，以确保后续系统能够具有高性能的表现。

参考地图集（Atlas）是由对应于ICH各子类的主要特征的训练图像块及注意力机制图组成的一组图像。

预测基是由一组训练图像构成的，这些图像是经过模型判断后从atlas中选出来的与输入图像（其实就是测试图像）相关的一组训练图像。

输出的预测结果是CT属于以下六类的概率：
Intraparenchymal haemorrhage (IPH) 脑实质内出血
Intraventricular haemorrhage (IVH) 脑室内出血
Subdural haemorrhage (SDH) 硬脑膜下出血
Epidural haemorrhage (EDH) 硬脑膜外出血
Subarachnoid haemorrhage (SAH) 蛛网膜下出血
ICH（即具有以下任意一种情况）

使用小型非平衡数据集构建深度学习模型

为了构造文中的系统，作者使用了904幅脑部平扫CT图像（non-contrast CT），并由五位专家分别对这些图像进行以下任一标注：No haemorrhage，IPH，IVH，SDH，EDH，SAH。在标注的图像中，作者从ICH和非ICH数据中各选择100例样本（随机选择）作为验证集数据，用来调整超参数以及进行模型选择。剩余的704例样本则作为模型的训练数据。

样本分布不平衡
在剩余的训练数据中，由于EDH和SDH发病率相对很低，导致数据集中的分布不平衡。为了解决这一问题，文中提出了一种预处理pipeline（流程？）和模型优化技术：

• 首先，在原有的5项输出中增加一项“ICH"，代表样本具有任何一种出血情况的可能性。这种方法使得模型能够更好的学习各类ICH所具有的一般特性，使模型对ICH检测更灵敏。
• 其次，根据每一个输出项（例如IPH、IVH…)下的正样本和负样本的比值来对模型的BCE损失函数进行加权，增加正例误分类的代价函数

数据量不足（小样本集）
为了解决数据集规模不足的问题，文中提出了两种优化方法 ：多窗口转换与切片插值。

• 多窗口转换：在临床诊断过程中，放射科医师调整窗口宽度（WW）和窗口水平（WL）显示设置来增加细微的异常区域的可见度，例如对特定出血点的窗口水平显示设置，预先设定的灰度值范围是ICH的典型CT密度范围。为了模拟这一过程，作者使用多窗口转换方法，通过产生三个具有不同的WL设置的8bits灰度图像（tissue window, brain window, blood window），并将它们编码为一张RGB图像：组织窗口作为R通道，脑部窗口作为G通道，血液窗口作为B通道。
• 切片插值：该方法用来模拟放射科医生如何直接利用3维图像从相邻图像通道（切片）中提取信息，而不需要单独将各个切片作为2维图像进行检查。在训练过程中，相邻切片间的插值图像通过修正的损失函数提供给模型，来模拟放射科医生对图像解释的三维集成。
  此外，文中通过使用几何变换和非线性去噪滤波来实现实时数据增强，以提高模型对不同的旋转、尺寸、平移和噪声的泛化能力。

应用以上各种方法得到的模型性能如下图所示

指标：灵敏度sensitivity（越高越好），特异性specificity（越高越好），假阳率1-specificity（越低越好）

未完待续 有缘再更

本文亮点主要有两个：

1. 可解释性
2. 小数据集

可解释性：对计算机辅助诊断来说，可解释性是将这项技术应用于临床医学的一个重要的门槛。深度学习网络在应用时类似一个黑箱，但在临床中，需要对网络给出的结果进行清晰的说明，给出得到这项结果的依据，结果才能使人信服。因此，本文提出了attention map（
注意，这里与attention机制无关）用来说明系统主要是因为对某块区域的变化敏感，受到该区域的刺激（激活）才得出了当前结果。而该敏感区域对应的就是肿瘤/出血点等位置，增加结果的可信度。
小数据集：医学图像面临的一大问题就是数据集难以获取，且标注耗时，因此如何能在小数据集下得到优良的性能是一项重要的研究内容。本文提出了应对数据集规模不足时的方法，且得到的系统性能优良。