FocusNetv2: Imbalanced large and small organ segmentation with adversarial shape constraint for head

YangMingliang666

已于 2023-09-21 16:47:59 修改

阅读量61

点赞数

文章标签：图像处理 python

于 2023-08-03 17:26:58 首次发布

本文链接：https://blog.csdn.net/YangMingliang666/article/details/132083235

版权

resource code
https://github.com/yhygao/focusnet-v2

Background

医学图像分割存在解剖结构复杂，器官轮廓对比度低，以及大小器官之间的极不平衡。通常对它们一视同仁的分割方法通常会导致小器官标记不准确。

Method

在这里插入图片描述
1、提出了一种新的两阶段深度神经网络FocusNetv2，通过专门设计的小器官定位和分割子网络自动定位、roi池和分割小器官，同时保持大器官分割的准确性，来解决这一具有挑战性的问题。
2、除了原始的FocusNet之外，还在小器官上采用了一种新的对抗性形状约束，以确保估计的小器官形状与器官形状先验知识之间的一致性。
3、提出的框架在1164个CT扫描的自收集数据集和MICCAI头颈部自动分割挑战2015数据集上进行了广泛的测试，与最先进的头颈部划水分割方法相比，该框架显示出优越的性能。

网络简介：FocusNetv2包含两个主要部分，分割网络和用于形状正则化的对抗性自编码器。他们以对抗的方式训练。对于分割网络，它模仿人类医生描绘医学图像的方式:以规则的尺度标记大的器官，而对于小的器官，他们先定位，然后放大，进一步精确描绘。AAE试图编码更好的形状表征，而SOS-Net试图预测更真实的形状，与先前的医学知识相一致。
!
分割网络
在这里插入图片描述
a）S-Net：主分割网络，对所有器官进行分割
b）SOL-Net：小器官定位分支，小器官中心位置进行定位
c)）SOS-Net：小器官分割分支，“多尺度特征+高分辨率图像” -> ROI-pooled -> 精准分割

形状正则化的对抗性自编码器（AAE）
在这里插入图片描述
利用对抗形状约束，使预测的mask形状符合先验知识。输入为groundtruth标签图和来自SOS-Net的预测掩码
a）shape autoencoder：尽可能重建输入的形状，这样latent space才是有代表性的低维形状歧；- bottleneck结构，便于保留核心信息，去除冗余信息；在低维形状歧管中评估两个形状的相似性。
b）对抗学习loss
x是输入，y是Ground Truth，G是分割过程
在这里插入图片描述

训练
1）训练S-Net
2）固定S-Net的参数，训练SOL-Net
3）交替训练SOS-Net和AAE（用gt做预训练，来稳定训练过程）
4）finetune整个网络