3d Unet Diagnosis and referral in retinal disease(3D Unet眼底病变诊断和分级)
we apply a novel deep learning architecture to a clinically heterogeneous set of three-dimensional
optical coherence tomography (OCT) scans from patients referred to a major eye hospital. We
demonstrate performance in making a referral recommendation that reaches or exceeds that of experts
on a range of sight-threatening retinal diseases after training on only 14,884 scans. Moreover, we
demonstrate that the tissue segmentations produced by our architecture act as a device-independent
representation; referral accuracy is maintained when using tissue segmentations from a different type of
device.
我们应用一种新型的深度学习架构,对一家大型眼科医院的患者进行临床异质三维光学相干断层扫描(OCT)。我们仅通过14884次扫描训练,就一系列威胁视力的视网膜疾病提出了达到或超过专家推荐的转诊建议。此外,我们证明了由我们的建筑产生的组织片段作为一个设备独立的表现;当使用来自不同类型设备的组织分割时,转诊的准确性得以保持。
需要寻找的问题
怎么做的?
设备1数据训练网络模型
补充图14 |我们方法第一阶段使用的3D U-Net模型。在训练时,模型接收9个连续的OCT切片。蓝色框显示4D激活图。彩色箭头代表不同的操作。
设备1+设备2数据训练网络模型(设备分支网络)
补充图15 | 2型装置的2分支U形网。我们的分段网络的架构包括“设备适配分支”,用于分段设备类型2的扫描。在左上角,我们展示了与设备类型1的原始架构相比的差异的放大版本(如所示)补充图14). 蓝色框显示了4D激活图,其通道数如下所示。绿色箭头表示卷积运算。我们对设备类型1和设备类型2的扫描进行训练,但在z维中对设备类型1的扫描进行子采样,以匹配设备类型2的较低z分辨率。根据扫描来自哪个设备,扫描首先通过设备类型1的顶部分支,或设备类型2的底部分支。然后将所选分支的输出用作原始体系结构第一级分析路径的修改版本的输入。体系结构的其余部分是相同的。
分类网络结构(3dcnn网络结构--DenseNet)
补充图16 |我们方法第二阶段使用的分类CNN(卷积神经网络). 蓝色和红色框表示4D激活图。蓝色框是(3x3x1)卷积的结果,而红色框是(1x1x3)卷积的结果。
数据集使用的哪一个?
3D OCT-2000 (Topcon, Japan) was selected as “device type 1”
Spectralis OCT (Heidelberg Engineering, Germany) was chosen as “device type 2”
使用的多个数据集,全部为自己拍摄,暂未公布
数据怎样做的预处理(是将一个器官切片数据放入,还是其他2d图片做个预处理)
接受连续的9的oct切片,进行叠加而成的3d立方体,之后通过卷积核(3x3x1或1x1x3)降维
之后再将分割输出图传递给分类网络进行分类决策
效果怎么样?
表格中的效果每一栏分别是,数据类型、分割训练数据、分类训练数据、常规转诊测试(错误率)、紧急转诊测试准确率
分割部分训练使用的是设备1拍摄的图像877,分类使用设备1的图像14884
后面测试泛化性使用设备2将分割网络训练了一次,分割不变,效果对照
有没有需要改进的地方?
模型中每个像素仅有一个标签,组织分割图不包括其他病变的信息,其他疾病无法直接使用该框架。
为了可以使用到其他疾病检测中,可以增加组织分割图,每个像素使用多个标签编码局部组织特征,或使用其他通道编码炎症反应等连续特征。
提出的两阶段模型为在最先进的OCT设备成本太高而无法广泛采用的国家更有效地部署模型提供了更大的可能性。
可以提炼的东西是什么?
论文创新点:
(1)文中创新的使用了3dUnet结构做分割网络,增强数据的泛化能力
(2)分割网络中使用五个分割网络结构,生成五种分割图像,可以将成像过程中的歧义呈现或传递给分类决策网络(该方法可以借鉴)
(3)检测泛化能力的方法,模型训练使用最广泛使用的数据类型,测试泛化性使用第二广泛的机器进行测试泛化性,再出现效果不好的情况下,调整训练模型,让最后的分类决策效果更好
(4)数据处理采用2d叠加成3d