论文详解：在腹腔镜结直肠手术中识别关键解剖结构

本文链接：https://blog.csdn.net/weixin_48047941/article/details/144116204

这篇文章是对一篇AI+医学论文的具体介绍，由于是发表在医学期刊上的论文，原文并没有详细提及网络模型结构，只是简单的指出了文章所用的模型是使用了什么网络结构。

这篇论文的题目叫做：Artificial intelligence for the recognition of key anatomical structures in laparoscopic colorectal surgery

特别是这篇论文的网络结构还不是单一的结构，由多种网络结构拼接而成，不利于医学方向的研究人员进行理解，所以我在这篇文章中对论文中的网络结构进行具体介绍，并且自己制作了模型的简图，方便相关人员进行理解。

首先这篇文章的目的是要在腹腔镜结直肠手术中识别关键解剖部位，文章主要提到了两种类别的识别目标，一种是输尿管的分割，一种是神经的分割。分割上述目标的目的，由于本人并不是医学方面的人员，所以在这里进行猜测，在手术中对这些关键部位进行标注可能是预防比如在清理淋巴等工作时，想要让机器能够实时在图像上进行提示关键神经或者输尿管等部位，给医生进行提醒，防止在手术中误伤到这些部位，对患者造成一定程度的损伤。

具体的分割图像如下图所示，在腔镜图像下模型可以提供这些关键部位的分割结果，并且文章所给出的部位具有一定的相似性以及差异。二者的相似性在于，无论是输尿管还是神经，它们都是条状物体；但是不同点在于输尿管相对来说较大较粗，神经较细较小，分割会更有难度。

先介绍一下模型是如何学习对目标物体的分割，也就是如何进行训练的，让模型有能力去识别。一开始模型是不可能直接会分割这些目标的，模型需要具有标注的对应部位的腔镜图像，然后模型会处理输入的原始腔镜图像，然后给出一个对于目标物体的分割结果。然后模型会使用适当的函数来度量给出的分割结果跟真实标注的分割结果进行对比，计算它们的差异性。然后模型就会依据这个结果去调整自身的参数，让自己预测的结果更加接近于真实标注的结果。这就是一个训练的完整流程，类似于这种有标注信息作为参考的训练，在计算机里面也叫做有监督学习。

首先先来讲解一下对于输尿管分割，它使用了模型叫做UreterNet，就是输尿管分割网络，该网络就是有一个深度卷积网络EfficientNet加上FPN结构组成的。

具体来说，输入的腔镜图像先经过EfficientNet-B7网络，它也是深度卷积网络的一种，具有更宽、更深、分辨率更高的结构。通过它提取出的特征会经过特征金字塔结构，该结构通过横向与纵向的连接，融合了深层与浅层的特征信息，然后在三个不同大小的层次进行预测，通过这种方法可以识别不同尺度大小的分割目标，得到最终的分割图像。

其实在医学网络中，网络模型往往不太复杂，但是它们关注的重点一个是对于特征的提取，一个是对于不同层次特征如何进行更好的融合，达到一个比较好的分割结果。

然后是针对神经分割的网络模型NerveNet，该网络是由两个网络模型组成的，一个是高分辨率网络HRNet，一个是对象上下文网络OCnet。HRNet会对图像进行一个初步的处理，得到不同层次的特征图以及比较粗糙的分割结果，然后会把这些给到 OCNet进行一个增强处理再次进行分割。

具体来说，输入的图像会先经过高分辨率网络HRnet,该网络的目的是为了对图像进行更精准的分割，特别是边界处这就需要更精确的位置信息，由于高分辨率的特征具有更多的位置，所以HRnet为了保留高分辨率的特征信息，以并行而非穿行的方式连接不同分辨率的分支，整个过程既保留了高分辨率表征，同时也能不断地融合不同分辨率的表征。

经过HRnet处理过后会得到不同层次的特征以及一个分割结果，接着这些数据会经过对象上下文表示网络即OCnet，先对分割结果提取类别区别特征，再对每个像素的特征与各个类别特征进行相似度计算得到该像素点的区域特征，重新进行预测分割，这样就可以使得模型获得更多位置信息，使得分割更加精确。

总结：对于输尿管的分割相对来说比较简单，使用FPN结构提取不同尺度的特征有利于对不同大小的输尿管进行分割；但是对于更为微小的神经分割，则是用了两个网络的串行连接，HRNet进行初步预测，然后再使用OCNet进行强化。

那时候在看这篇文章的时候也有疑问，那不是可以使用一个网络就可以进行处理，为什么还要分为两个网络。最直接的思路就是两个模型能够丰富文章的内容，其实分割神经的网络当然能够处理输尿管分割的，在分割中一般是更微小的目标比较难以进行处理的。另一个原因就是输尿管分割网络比较简单，训练比较方便，那如果能够使用简单的网络，那么也不需要蚊子打大炮，用复杂的模型去处理简单的任务。