[深度学习从入门到女装]VoxResNet

 论文地址：VoxResNet: Deep voxelwise residual networks for brain segmentation from 3D MR images

 

这篇文章是将ResNet用到3D MRI脑部分割上

网络的整体结构如上图所示，卷积使用conv3d，使用额外的三个auxiliary classifiers，右图为VoxRes模块

loss为

 

Multi-modality and auto-context information fusion

这篇文章中网络的输入为多模块的，如T1, T1-IR, and T2-FLAIR，将多模态的MRIconcate到一起作为输入

auto-context：自动上下文是一种有效的图像分割算法，它通过学习一系列分类器（如随机森林）将图像外观（即我们案例中的体数据）与上下文信息结合起来（Tu和Bai，2010）。 给定一组训练数据及其相应的标签图，它首先学习本地图像块上的分类器。 然后，除了原始图像块之外，由学习的分类器生成的概率图被用作高级上下文信息，以训练新的分类器。 该算法以迭代方式细化输出结果。 它通过融合大量低级外观特征与上下文和隐式形状信息来集成低级和上下文信息。与自然图像处理中的识别任务相比，由于解剖结构大致定位和约束自动文本信息在医学领域中的作用更为重要。

本文中直接适应一个pre-trained VoxResNet作为分类器，然后将分类器的结果和原始输入放到另外一个VoxResNet中，成为Auto-context VoxResNet进行结果优化细分割，auto-context原本是会进行多次迭代的过程，但是文章中指出多次迭代带来的效果并不好，所以直接使用一个Auto-context VoxResNet作为最终输出