miniimagenet的图像预处理代码_对基于深度学习的医学图像分割的一些理解

定了图像语义分割这个方向大概有半年多了，具体研究课题方向是基于深度学习的医学图像分割。这里作一个简要的阶段性小结。

一、医学图像的突出特征

总体上来说，医学图像相比于自然图像（通过可见光成像）有以下四点区别：

1、医学图像的模态（格式）更加多样化，如X-ray、CT、MRI以及超声等等，当然也包括一些常见的RGB图像（如眼底视网膜图像）。不同模态图像反应的信息侧重点是不一样的。比如X-ray观察骨骼更清晰，CT可以反应组织和器官出血，MRI适合观察软组织。而且不同型号的成像设备得到的成像结果有一定差异。

2、医学图像的像素值范围与自然图像（0~255）有很大差别，如CT一般会上千。

3、噪声。由于成像设备、成像原理以及个体自身差异的影响，医学图像一般会含有很多噪声。由于噪声对于位置和空间约束是独立的，从而可以利用噪声的分布来实现降噪，但是在抑制噪声的同时也需要考虑图像细节的保留问题。

4、伪影。伪影一般是在图像配准或三维重建时产生（如CT），从原理上来，只能减少，无法消除。

举个栗子，下图为一肺部CT图像切片可视化结果，已经过预处理转化为灰度图像，组织与器官之间的分界线比较模糊。图二为不同个体的脑MRI图像，可见差异巨大，这给脑组织提取带来了很大的困难。

图一 肺部CT图像

图二 不同个体的脑MRI成像结果

二 分割目标

对于医学图像数据，首先要明确分割要达到什么目的，是对病灶的提取还是器官的提取还是器官的分割，不同的器官的分割也有不同的具体目标，如脑组织分割、脑肿瘤分割、肺结节分割等等。不同的任务目前没法用统一的模型来完成的，融合到一起反而限制了使用先验知识，进而会损失分割精度。

肺部CT图像分割结果

上图为肺部CT图像分割结果，目的是提取整个肺器官，左侧为DL网络分割结果，右侧为人工分割结果，可以发现，基于深度学习的医学图像分割效果已经非常接近人工分割结果了。

心脏器官分割

心脏器官分割也是类似肺叶分割，需要将心脏分为这六个部分：

左心室血腔（the left ventricle blood cavity, LV）

左心室心肌（the myocardium of the left ventricle, Myo）

右心室血腔（the right ventricle blood cavity, RV）

左心房血腔（the left atrium blood cavity, LA）

右心房血腔（te right atrium blood cavity, RA）

升主动脉（the ascending aorta, AA）

肺动脉（the pulmonary artery, PA）

对于不同的任务需求，还可以引入特殊的先验知识来提高精度。

三、关于模型的理解

以上这些区别只是个人粗浅的理解，因为我也不是学医的。可以发现，这些区别并不会对基于深度学习的医学图像分割产生太大的影响。换句话说，对于自然图像分割很优秀的网络模型，完全可以直接迁移到医学图像上来（反之亦然），效果如何只能训完看看了（如非常著名的FCN、SegNet、U-Net等，特别是U-Net最初就是在MICCAI上发表的）。当然，如果要高效的设计训练模型，还是要结合数据特点（如待分割对象的尺寸范围、2D还是3D等等）进行网络设计。说句题外话，AutoDL技术在2019年效果突出（Neural Architecture Search: A Survey），估计以后网络模型设计难以恰饭。

肺叶分割示意图

个人认为，基于深度学习来做医学图像处理，主要的工作集中在了数据预处理部分：深入理解医学图像的格式和特点；设计合适的图像预处理操作增强目标特征；将原始格式的数据处理为适合深度学习模型输入的格式。这三点也是从自然图像处理转到医学图像处理过程中最困难的三点，后续我再分别补充相关内容。