2d和3d cnn 解决医疗影像分析问题

---

项目介绍

本次项目的主题是对医学图像进行一个分类预测。训练数据是来自两个医院提供的实际病人的肠壁肿瘤MRI图像和一个带有标记的excel文件。图像具体选择的是T2weighted图像。训练的类别标签为“TRG分级”，取值有四种(0，1，2，3)，为离散的值，即该问题为一个四分类问题。四种类别的数据量十分不均衡。如：提供的数据中，CC-ROI数据表中的TRG分级(0，1，2，3)类对应的数据为(176，166，307，4)总计653个样例。而6-ROI的数据表中的TRG分级(0，1，2，3)类对应的数据为(100，109，124，13)总计346个样例。另外，MRI图像的肿瘤区域大小不一。因此需要进行较多的数据预处理步骤

---

预处理方法

augmentation(flip, resize, crop)

由于目前拥有的实际数据中，CC-ROI有653个样例，6-ROI为346个样例，样例数不够，因此需要进行数据增广。通过使用数据增广，增加训练数据集，让数据集尽可能的多样化，使得训练的模型具有更强的泛化能力。

现有的各大深度学习框架都已经自带了数据增广，因此直接调用对应的函数即可。（本项目使用pytorch）

train_transform = transforms.Compose([
    # transforms.CenterCrop(size=224),
    # transforms.RandomRotation(degrees=[-10, 10]),
    # transforms.CenterCrop(size=512)
    # transforms.RandomCrop(size=224),
    # transforms.RandomResizedCrop(size=224),
    transforms.RandomHorizontalFlip(p=0.5),
    transforms.RandomVerticalFlip(p=0.5),
    # transforms.ColorJitter(brightness=0.1, contrast=0.1),
])

在深度学习中的数据增广一般会采用多种增广方式的组合，这里就会涉及到矩阵乘法运算，根据其运算的规则，可以知道不同的组合顺序结果是不一样的，即线性代数中的 $AB\ne BA$ ，当然特例除外。

• Flip代表的是翻转，即图像镜像，包括水平和垂直翻转
• resize即进行图像缩放
• crop是进行图像的切割

spacing

医学图像在xy方向是固定的512x512，在z轴分辨率不同会导致图像矩阵深度不一样。如果不对分辨率标准化可以，直接对图像进行缩放到满足神经网络标准化输入的要求。但是在3d图像处理过程中，常常需要对其进行分辨率标准化。实际应用中，有标准到1x1x1或者3x3x3。做这种的标准化并不是为了应用于神经网络，传统的医学模式识别也是要这么做的。ct图像中有几个非常重要的量，xy方向的spacing，大多数ct的spacing都是0.5左右，而z轴是slide thickness，也就是层厚。国内外甚至每个脏器的扫描都会有不同。比如luna数据集，肺结节很小，又是国外的数据，普遍层厚非常小，0.6mm到1.5mm左右。比如miccai肝脏数据集，基本是1.5mm。在我们的数据集T2序列中，层厚从0.8px/mm 到1.8px/mm不等，当面临的是数据源的差别很大，神经网络的泛化能力根本做不到一个模型处理所有情况的程度，由于3D医学影像在z轴分辨率是差别太大，如果不做分辨率标准化，会导致泛化能力下降，检测的时候假阳性会很多。
这次实验中使用的spacing处理步骤为：

1. 获取每张图片的spacing，计算所有slice的spacing众数
2. 根据该spacing对所有图片进行resize，使其spacing相同。此时图片xy方向尺寸不同（最大为615*615）
3. 将所有图片resize到224 * 224

        # 1. spacing resize
        if self.is_spacing is True:
            shape = self.dataset[index]["shape"]
            shape_spc = self.dataset[index]["shape_spc"]
            if shape[0] != shape_spc[0]:
                img = img.resize(size=(shape_spc[0], shape_spc[1]), resample=Image.NEAREST) # spacing resize

        # 2. 以肿瘤中心切割
        h_min, h_max, w_min, w_max = self.dataset[index]["tumor_hw_min_max_spc"]
        tumor_origin = ( (h_min + h_max) / 2, (w_min + w_max) / 2 )         # 肿瘤中心点坐标

        if self.is_train is True:
            crop_size = 224     # 切割后图片大小
        else:
            crop_size = 224     # 切割后图片大小

        img = TF.crop(
            img=img,        # Image to be cropped.
            i=int(round(tumor_origin[0] - crop_size / 2)),   # Upper pixel coordinate.
            j=int(round(tumor_origin[1] - crop_size / 2)),   # Left pixel coordinate.
            h=crop_size,    # Height of the cropped image.
            w=crop_size