基于深度特征融合的癌症病理图像分割网络

摘要：卷积神经网络在癌症病理图像分割中具有突出表现，但在临床应用上依然面临着切片染色多样、分辨率差异大等挑战。针对上述问题，提出了一种病灶分割网络HU-Net，提高了癌症病理图像的分割精度。HU-Net使用U-Net网络作为基本结构，利用经过预训练的EfficientNet-B4作为网络特征编码器，解码器部分在U-Net网络上进行改进，将不同深度特征重新进行组合进行特征融合，提升了深层特征在预测中的作用。在此基础上，利用各深度层融合特征预测输出，构建多损失函数共同训练，使深层语义信息更具鉴别力。最后，采用改进的通道注意力模块对融合特征进行选择，使网络对不同分辨率图像的适应性增强，提升了模型筛选重要特征的能力。在BOT数据集和SEED数据集上分别进行癌症病灶分割实验，所提方法的DICE系数得分在两个数据集上分别达到77.99%和82.94%，准确度得分分别达到88.52%和87.42%。该方法相较于U-Net和DeepLabv3+等网络有效提升了癌症病理图像病灶分割精度，实现了更准确的癌症病灶定位和分割。

病灶：机体上发生病变的部分

HU-Net：基于U-Net网络，利用EfficientNet-B4网络作为特征编码器，在解码器部分改进了特征融合方法，利用改进的通道注意力模块对融合特征进行筛选，训练时不同深度预测下对应的损失函数都进行反向传播，获得了更有效的深层语义特征，提升了模型获取和利用全局语义特征的能力，改善了癌症病理图像病灶分割精度。

该网络主要包括编码器、解码器和特征融合预测三个部分组成

编码器模块：在Imagenet数据集上预训练的EfficientNet-B4网络作为特征编码器，通过迁移学习使编码器在病理图像上更快学习到关键特征。EfficientNet-B4网络还引入了通道注意力思想，将特征图在特征通道上进行压缩和激发，使得在编码过程中进一步突出了关键特征。

解码器模块：在解码器中改进了U-Net原有特征融合方式，将不同深度特征重新进行了融合，从深层逐渐到浅层，每一层融合特征都不断上采样到最浅层，每层特征融合时都融合之前深层中的高层语义信息。为了确定不同通道特征的重要性并筛选有效特征，使用了通道注意力模块(CA1-CA4)对融合特征进行选择。

在通道注意力模块中：输入为编码特征和解码特征叠加得到的融合特征X，通过卷积层和BN层*2，通过全局平均池化和全局最大池化提取通道特征，通过共享多层感知器模块MLP获取每一流的全局特征系数，将两组通道权值进行相加，利用Sigmoid函数进行激活得到通道注意力系数β。将获得的通道注意力系数乘以注意力模块输入的融合特征

特征融合预测模块：能够加速模型训练收敛以及更有效地进行模型微调，同时使网络在训练过程中在不同深度都获得更有效特征。在解码器的不同层，都将该层融合筛选后的特征通过转置卷积直接上采样到图像原尺寸，并利用Sigmoid函数进行激活，输出之后得到每层对应的分割预测结果。然后，将不同层的预测进行叠加融合，再经过卷积并激活后得到融合的预测结果作为模型最终预测。

网络在深层中将更加关注病灶位置，可以获得更有效的高层语义信息进行病灶区域定位，利用浅层特征进行边界细节预测，使模型整体分割预测更加精确。

实验数据集：SEED病理数据集和BOT病理数据集

SEED：该数据集共包含732个带胃癌病灶精标注的数字病理切片样本，其中有17个样本病理图像为空白无法使用，1个样本出现错误标注，在使用中均被剔除，实验中实际使用样本数为714。病理图像以及对应的标注都为RGB图像。该数据集中图像尺度差异大，不同图像的尺度从372×489到12047×18257变化，尺度上的巨大变化为病灶精确分割带来了挑战。

BOT：BOT数据集包含560个样例，每个样本包含病理图像和对应的病灶区域标注，图像大小全部为2048×2048。该数据集的病理图像中大部分病灶区域都相对较小，是分割中的难点问题。

评价指标：DICE系数、IOU、敏感度(Sen)、准确率(MA)、精确率(Pre)五个评价指标

Ma表示预测矩阵，Pre表示标签矩阵

BOT数据集实验结果：为验证HU-Net网络有效性，选取经典网络对比

由表1可知FCN-VGG16取得了较差的分割精度(BOT病理图像中的病灶区域普遍较小，FCN网络在进行预测时只利用了最深层语义信息，导致细节信息利用不足)U-Net融合了细节信息取得了较高的预测分割精度。

TransUnet、CA-Net、SegNet在保留细节信息的基础上分别采用了更有效的特征提取器、利用注意力模块进行特征筛选和改进上采样方式进一步改善了病灶分割效果。

上述共同缺点是没有突出全局特征在病理图像分割中的作用，HU-Net改进了特征融合的方式，突出了深层语义信息在预测中的作用，因此取得了较好的分割结果。

分割结果：标签图像（红色） 模型预测结果（绿色） 重合部分（黄色）

本文提出的HU-Net突出了全局特征的同时保留了细节信息，使分割结果更加精准。

FCN：没有利用细节信息导致过分割。

U-Net和SegNet：过于强化细节信息在预测中的作用导致欠分割。

HU-Net算法消融实验：

(1)在U-Net的基础上使用ImageNet数据集上预训练的EfficientNet-B4网络作为特征提取器，实验称为EU-Net

(2)在EU-Net的基础上使用多深度特征融合策略并使用多输出及逆行多损失函数共同训练，实验称为FU-Net

(3)在EU-Net的基础上增加使用注意力模块，实验称为AU-Net

(4)本文所提的方法为HU-Net

添加注意力模块(AU-Net)和深度特征融合(FU-Net)两种改进方法相较于EU-Net进一步提升了病灶的预测分割精度，HU-Net模型融合了两种方式的优点获得了最高的DICE系数。

SEED数据集实验结果：为了测试HU-Net模型在不同数据集上的泛化性，在SEED数据集上进行了对比实验

在SEED数据集上，FCN比U-Net获得了更好的分割效果，因为SEED病理图像中病灶区域较大，因此突出全局特征的FCN分割精度更高。

分割结果：FCN能大致分割出病灶区域，在病灶边缘的分割误差较大。U-Net网络弱化了全局特征在预测中的作用，定位病灶区域能力受限，出现欠分割现象。

结论：

本文提出了一种改进的病理图像语义分割算法HU-Net。该算法首先增强了编码器提取特征的能力，然后利用自然图像到病理图像的迁移学习来缓解病理图像相对不足的问题，在解码器中通过改进深层和浅层特征的融合方式增强了全局特征在预测中的作用，并采用注意力模块筛选了重要特征，最后通过网络多输出训练在各个层中获得了更具鉴别力的特征。在BOT和SEED病理图像数据集上的结果表明，本文所提方法获得了更好的分割效果，其DICE分割精度分别可达77.99%和82.94%，从而为医生临床诊断提供辅助支持。病理图像往往具有大小不一、尺度变化大的特点，本文所提方法直接将所有图像统一变换为了576×576大小以方便训练，可能会导致病理图像细节信息丢失，因此下一步研究工作将关注如何更有效利用图像中的细节信息进行网络模型训练，改善分割性能。