毕业设计-基于深度学习的病理图像细胞核分割

本文链接：https://blog.csdn.net/qq_37340229/article/details/129930176

前言

📅大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。

🚀对毕设有任何疑问都可以问学长哦!

选题指导: https://blog.csdn.net/qq_37340229/article/details/128243277

大家好,这里是海浪学长毕设专题,本次分享的课题是

🎯毕业设计-基于深度学习的病理图像细胞核分割

课题背景和意义

在医学领域中，癌症是一组可以影响身体任何部位的多种疾病的通称，是恶性肿瘤的一种，是严重威胁人类生命健康和社会发展的重大疾病。除此之外，癌症还是一种死亡率极高的恶性疾病，具有治疗难度高等特点，也因此给患者和家庭带来沉重的负担。全世界范围内的癌症发病率和死亡率都在迅速增加，根据世界卫生组织发布的 2018 年全球癌症报告，在全球范围内，2018 年新增癌症约 1810 万例，癌症死亡约 960 万例，而亚洲新发癌症病例全球占比 48.4%，癌症死亡病例全球占比 57.3%，其原因非常复杂，既可以解释为人口的增长以及人口老龄化所带来的弊端，也可以解释为癌症的主要危险要素正在不断地转变。而随着我国疾病模式的转变和人口老龄化的趋势，我国的癌症负担也在日益增加，根据国家癌症中心发布的 2015 年中国恶性肿瘤流行情况分析，在全国范围内， 2015 年新增癌症约 393 万例，癌症死亡约 234 万例，癌症的防治面临严峻的形势。因此，癌症的防控是目前人类社会所需面临的重大挑战，而如何运用科学的方法是其中的关键问题。

实现技术思路

一、相关技术介绍

病理图像

病理组织学是临床上癌症诊断的黄金准则，其主要研究内容是观察显微镜下的组织切片，而病理图像则是对组织切片进行数字化扫描之后得到的高像素图像，因此病理图像也可以被称为全视野数字切片（Whole Slide Images, WSIs）。不同染色技术的病理图像如图所示：

神经网络

神经网络的研究起源于学者对于神经元的模拟，早在 1943 年，McCulloch 和 Pitts 便提出了经典的 MP 模型，而后随着单层感知器、反向传播网络以及 SVM的提出，这种模型得以不断完善。

1、卷积神经网络基本结构

在计算机视觉领域，卷积神经网络具有强大的特征表达能力，是应用最为广泛的一种神经网络，其主要原理是通过“卷积-激活-池化”等操作的堆叠，自适应地对输入图像进行特征提取，从而学习具有辨别性的特征。

卷积层是卷积神经网络的基本组成，卷积操作便是利用卷积核对卷积层的输入进行特征提取的过程，其中的输入可以是图像或者特征图（Feature Map），具体而言，先将卷积核与输入特征的某一位置对齐，再对卷积核在特征图这一位置上的投影进行加权求和，如图所示。

若将卷积核矩阵记为𝜔，将输入特征图记为𝑓，将输出特征图记为𝑔，假设输入特征图的尺寸为𝐻 × 𝑊，卷积核的尺寸为 𝐾 × 𝐾，那么卷积操作可以表示为：

激活函数是对神经元处理信息过程的模拟，通常作用于卷积层的输出，并且激活函数一般是非线性函数，以确保网络能够引入足够的非线性，从而提升模型对于复杂数据的拟合能力。常用的激活函数包括 Sigmoid、Tanh 以及 ReLU，这三种函数的图像如图所示。

ReLU 是一种非饱和函数，当输入小于 0 时，输出为 0，而当输入大于等于 0 时，输出则等于输入，这种激活函数能够在一定程度上解决梯度消失问题，并且加速网络的收敛，因此目前卷积神经网络中隐藏层的激活函数大多使用 ReLU 及其变形。常见的池化方法包括平均池化和最大池化，池化操作示意图如图所示。

随着网络层数的继续增加，模型的过拟合现象逐渐严重，所需要的计算资源也大幅度提升，更为严重的则是产生梯度消失和梯度爆炸等问题。当发生网络退化时，模型浅层结构的性能要优于深层结构，若此时将浅层特征直接传输至深层，模型的整体训练效果应有提升，因此作者在卷积层之间加入了跳跃连接，形成残差单元，实现恒等映射（Identity Mapping）。残差单元的具体结构如图所示。

ResNet 模型由上述基本残差单元或瓶颈残差单元堆叠而成，不同层数的 ResNet 模型具体结构如表所示。

语义分割相关技术

语义分割任务是计算机视觉领域的基本任务与关键问题之一，其主要目的是对图像中不同类型的目标进行划分与标注，并使用相同且唯一的类别标签标记同种目标中的所有像素。简单而言，语义分割即为根据原始图像的上下文信息对其进行的逐像素分类过程，为计算机理解完整场景奠定基础，更为工业自动化以及虚拟现实等新兴技术提供算法基础。

在 2015 年提出一种端到端的全卷积神经网络（Fully Convolutional Networks, FCN），使用卷积层代替分类网络中的全连接层，实现任意尺寸的图像输入，并通过上采样的方式得到最终的分割结果，大大加快了训练速度。FCN 的网络结构如图所示。

尽管随着 FCN 算法的提出，越来越多的学者将用于图像分类的卷积神经网络模型迁移至语义分割任务当中，但由于网络中存在池化层，图像细节的丢失无法避免。的 U-Net[21]则是通过逐步上采样的方式代替一步到位的反卷积方法，实现低层信息与高层信息的不断融合，持续性地补足细节信息，其网络结构如图所示。

目标检测相关技术

目标检测任务同样是计算机视觉领域的基本任务与关键问题之一，其主要目的是在大量的图像以及类别中精确定位物体，具有广泛的应用，包括自动驾驶、人机交互以及智能视频监控等。

2017 年提出 Mask R-CNN[，该方法在 Faster R-CNN 的基础上增加了一个用于处理分割任务的分支，使用 ROI-Align 代替 ROI 池化，以解决 ROI 池化层所导致的像素不对齐问题，从而得到更精确的坐标信息，并将 Feature Pyramid Network（FPN）引入到主干特征提取网络当中，既丰富了模型的应用场景，又提升了算法性能，训练简单且易于推广，是目前最常用的通用实例分割框架之一，其网络结构如图所示。

为了提高 One Stage 算法的精度，提出 RetinaNet，该方法在 FPN 的基础上对每一个输出尺度增加了两个信息通路，分别用来输出类别概率以及边界框的偏移量，并使用一种基于交叉熵损失的𝐹𝑜𝑐𝑎𝑙 𝐿𝑜𝑠𝑠解决正负样本之间的极度不均衡，其网络结构如图所示。

二、基于双通路解码的病理图像细胞核分割

算法原理

1、研究思路

语义分割任务通常被认为是逐像素的分类任务，但是和一般的分类任务相比，语义分割还需要考虑图像的局部上下文信息，因此，具有结合上下文信息和语义信息能力的全卷积神经网络是语义分割领域中最常用的研究方法，其中的“编- 解码”结构在这类方法中有着广泛的应用。

随着 U-Net[21]的提出，增加编码器和解码器之间的跳跃连接是解决上述问题的方法之一，解码器融合了来自编码器的特征图，实现了对于细节信息的补充。所提出的方法具有这种“U 型”的“编-解码”结构，其结构框架如图所示。

2、网络框架

本章提出的基于双通路解码的病理图像细胞核分割的网络框架如图所示，整个网络由编码器（左路径）和解码器（右路径）组成。其中，编码器采用不含有全局池化层和全连接层的 ResNet[25]分类网络，用来提取输入图像的特征，解码器是双通路的全卷积神经网络，其中一路用于学习细胞核的轮廓，而另外一路用于学习细胞核的整体。基于双通路解码的病理图像细胞核分割网络框架：

模型训练

1、模型结构

（1）多尺度编码器

有效的特征提取是深度学习与神经网络的基础，更深层的网络通常有着更强的特征提取能力，然而随着网络深度的不断增加，梯度消失问题变得严重，导致网络的退化[25]。为解决上述问题，引入残差结构

（2）双通路解码器

为了完成细胞核的实例分割，网络需要将每一个细胞核作为单独的实例进行分割，这就需要区分邻近的细胞核甚至是重叠的细胞核，因此，解码器需要每一个实例的轮廓信息。双路融合模块，将两个子任务的输出进行融合，再分别与各自的特征图二次融合，具体的解码器结构如图所示。

在图中，各变量的含义如表所示：

2、损失函数

本章所提出的方法具有双通路解码结构，因此，本章根据两个子任务的不同定义了两种损失函数，模型的总损失由两路的损失函数组合而成，若将细胞核轮廓的损失记为𝐿𝑐𝑜𝑛𝑡𝑜𝑢𝑟，将细胞核整体的损失记为𝐿𝑛𝑢𝑐𝑙𝑒𝑖，则总的损失函数𝐿𝑡𝑜𝑡𝑎𝑙 可以表示为：

三、基于无锚检测的病理图像细胞核分割

算法原理

1、研究思路

2、网络框架

本章提出的基于无锚检测的病理图像细胞核分割的网络框架如图所示，整个网络由检测子网（右半部分）和分割子网（左半部分）组成，二者共用同一个特征提取网络，即后端网络。检测子网中的虚线框 A、虚线框 B 和检测头以及分割子网中的解码器的具体结构如图：

模型训练

1、模型结构

本条将对本章所提出的方法进行结构上的细节补充，分别从检测子网真实值的处理、检测子网的子结构和分割子网三方面进行讨论。

（1）检测子网真实值的处理

目标检测问题通常被认为是物体分类与物体定位的总和，而 YOLO则将其转化为边界框的分类和回归问题，本章则在此基础上提出一种 Anchor-free 检测器，在不使用现有 Anchor 的基础上完成检测任务，整个检测子网是 One Stage 方法，即同时输出边界框和类别概率。具体而言，本章将输入图像划分为正方形网格，网格形状如式所示。

（2）检测子网的子结构

受 PA-Net和 CenterNet的启发，本章在检测子网中除了采用多尺度融合策略，还进行了特征的二次融合，创造额外的信息通路，充分利用浅层特征，具体而言，使用下采样的方法降低特征图的分辨率，以满足特征融合的条件，这种特征图的二次融合确保信息的流动，从而显著改善结果。

在上图中，1 × 1卷积操作使用减少特征图通道的方式降低计算量，这里的 3 × 3卷积操作可以消除特征图叠加之后产生的混叠失真，因此为了进一步降低计算量，这里的卷积操作不使用非线性激活。若将上采样操作记为𝑈𝑃，将逐像素相加操作记为⨁，将1 × 1卷积记为𝐹 1×1，将3 × 3卷积记为𝐹 3×3，则多尺度特征融合模块的输出𝐹1可以表示为：