题目:Simultaneous Classification and Segmentation of Cysts in Retinal OCT
前言:这篇文章,给出了一种新的U型CNN,可以同时给出分割以及检测结果,而且工作的意义在于,可以量化的给出患者OCT影像结果。关于数据集以及这个挑战赛的介绍可以看这篇博客https://blog.csdn.net/github_36923418/article/details/86551930
主要方法:
这项任务的主要挑战主要来自病变眼睛的高度可变和不规则形状,其次来自可变图像质量(信号强度和斑点噪声),这些也是取决于患者的眼睛状况和用于捕获体积的设备。
这篇文章的方法,也是利用2D图像分割的方法来做的,避免直接使用3D 卷积网络,这样做可以避免“密集的大量计算”、“把这些片弄成3D数据,也是需要一定的3D配准的”
图像预处理:
1、这里有部分原因是在于这个数据集中的数据来自于不同的三个设备,这三个设备很多参数不一样,三个OCT设备以不同的深度分辨率获取扫描,这改变了从一个设备到下一个设备的解剖学形状表示。
2、因为,水肿类型 和 水肿所处在的视网膜层相关,所以本文先对视网膜层进行分割了,预先分割Bscan以显示七种不同的视网膜细胞层。利用BRUNet Pathological oct retinal layer segmentation using branch residual u-shape networks 分成了 Nerve Fibre Layer (NFL), Ganglion Cell Layer (GCL), Inner Plexiform Layer (IPL), Outer Plexiform Layer (OPL), Outer
Nuclear Layer (ONL), Inner Nuclear Layer (INL), Retinal Pigment Epithelium (RPE) and Internal Limiting Membrane (ILM)。
3、也应用了一些常规的增广,增加模型的泛化能力: horizontal flip, shear, rotation, shift and Gaussian noise(高斯噪声不一定好,得看机器)
网络结构:
1、这是主要的模型结构,首先是原图,结合上BRUNet分割结果作为先验知识,一起输入分割网络得到分割结果S,然后把原图和视网膜层级结构图一起给RetiNet,给出分类结果,然后结合上S得到S'。
我觉得文章中对于后半部分网络,是如何整合以及如何利用S 去得到S' 感觉讲的不够清楚~~~
时间开销:
execution time for segmentation of Bscans amounts to 3-10 seconds (depending on the number and resolution of Bscans in a volume), with a AMD Ryzen 1700 CPU in combination with an NVidia 1080 Ti GPU.