Title：One-pass Multi-task Networks with Cross-task Guided Attention for Brain Tumor Segmentation
目录
Absract（摘要）
类不平衡问题是脑肿瘤分割问题中的主要挑战之一。模型级联是一种流行的解决这个问题的方案。模型级联通过运行一组深度模型进行从粗到细的分割。但是这种方法的一个缺点就是忽略了级联各个模型之间的相关性。本文提出的OM-Net网络针对此问题可以更好的解决类不平衡问题。
OM-Net方法概括
首先OM-Net将单独的分割任务集成到一个深度模型中，这个模型由用于学习联合特征的共享参数和用于学习判别特征的任务特定的参数组成，利用任务之间的相关性来设计在线训练数据传输策略及训练策略。此外提出了在任务之间共享预测结果，为此设计了跨任务引导注意模块（CGA）通过前一个任务提供的预测结果的指示，CGA模块可以基于特定类别的统计数据自适应的校准通道特征效应。
类不平衡问题就是健康组织和肿瘤组织之间以及肿瘤内类别之间通常会出现的严重的比例不平衡问题。
模型级联和OM-Net的区别
模型级联是为每个任务训练一个单独的网络，然后依次连接。两个网络的结果如下图
而本文提出的OM-Net是将三个任务合并一个模型当中。此外模型在训练过程中不是一直一起训练三个任务，而是逐步将任务按难度递增的顺序添加到OM-Net中，这有利于提高模型收敛的质量。
方法（Method）
A：基于模型级联的基本架构
脑肿瘤分割分解为三个独立但相互关联的任务：
任务1：完整肿瘤结构的分割
任务2：完整肿瘤以及肿瘤内类别的精细分割
任务3：增强肿瘤的精细分割
注：这三个任务的采样区域是分层嵌套的，上述三个任务除了最后的分类层之外其余都是相同的。在模型级联网络的训练过程中三个网络必须一个一个的运行，因为一个网络的输入是受前一个网络的输出影响的
B：单一路径多任务网络
将3个任务集成到一个网络当中，在这个集成模型中每个任务都有自己的训练数据共享其参数可以利用任务之间的相关性。并且因为多任务模型的缘故网络可以通过一次计算获得3个分类器的预测结果。OM-Net的结构如图
具体步骤为：1）开始时，OM-Net只接受第一项任务的训练，直到损失函数逐渐趋于平缓。
2）将第二个分割任务添加到OM-Net当中，连接Data-1和Data-2形成网络的输入，输入网络进行处理后沿batch维度拆分其生成特征。然后我们我们获得特定于任务的特征并使用切片特征来优化特定任务的参数！
网络结构中的在线训练数据传输策略，可以将Data-1中满足以下采样条件的Patch转移来辅助第二个任务的训练。条件如下
其中
是训练Patch中第i个体素的标签，Ccomplete属于所以肿瘤类别。N是输入patch的体素个数。我们将这些筛选出来的特征与Feature-2连接起来，然后计算第二个任务的损失 。
3）将第三个任务和训练数据引入，连接和切片操作和第2步中类似，将满足以下条件的Data-1和Data-2数据加入到第三个任务当中来进行辅助训练。条件如下
总之网络为多任务网络；网络是从易到难的阶梯训练；训练数据是从简单任务向困难任务进行迁移的
C:跨任务引导注意模块（CGA）
OM-Net中从粗到细的分割被视作级联空间注意力，此模块是通过从通道注意力的角度进行提升。
SE模块中的全局平均池化忽略了输入patch中每个类别体积的巨大变化，本文通过计算特定类别的区域而不是整个Patch的统计数据来解决这个问题。具体来说Feature-2和Feature-3分别通过OM-Net的第一个和第二个任务，这样可以获得其粗略分割。
配备了CGA模块的OM-Net结构如下图所示
如图所示 Di，Fi，Oi分别表示第i个任务的训练数据，特征以及输出。其中 Feature-2和Feature-3分别通过第一个和第二个任务预先得到自己的粗略预测结果。我们将这两个操作称为Data-2和Data-3的跨任务前向传播流。这些粗略的分割结果被用作跨任务指导以帮助产生特定类别的通道注意力
CGA-Tumor
以CGA-Tumor模块为例，说明CGA模块。CGA模块由特定类别的通道重要性（CSCI）和互补分割块（CSB）构成。这两个子块的结构如下图
图中特征图和概率图简化为立方体，立方体的高度表示为通道数，P表示前面任务预测的概率，灰色立方体表示CGA模块当前的输入。
a)CSCI模块：这个模块估计估计每一个通道对肿瘤和非肿瘤类别分割的重要性，具体来说我们首先计算 Pt，Pn。这两个变量的值中每一个值分别表示一个体素属于肿瘤还是非肿瘤的概率
其中
包含正常组织还有背景。然后我们将Pt，Pn重塑为RN*1，其中N= W*H*L表示Patch中的体素数。同样F被重塑为RN*32.随后重构后的F和重构后的Pt，Pn之间执行矩阵乘法，然后再对获得的向量应用L1归一化
mt和mn中的元素分别描述了每个通道对于分割肿瘤和非肿瘤类别的重要性。
b) CSB块：这个模块可以通过两个互补的路径执行分割，这两种路径可以充分利用类别特定的通道重要信息。这两条路径分别关心肿瘤和非肿瘤体素的分割。其结构如下图
mt和mn分别用于重新校准F中的每个通道。
其中fi是F中的第i个通道
分别表示mt和mn之间的第i个元素，重新校准的
分别突出显示更重要的通道并抑制肿瘤和非肿瘤不重要的通道。然后将这些特征图输入到1*1*1的卷积层，从而生成他们的重要性分数图，这两个重要性分数图分别对应着肿瘤类别和非肿瘤类别。我们通过加权合并两个分数图得到一个合并的分割结果
,再将这个结果输入另一个1*1*1卷积层，从而得到当前任务的最终预测结果
CGA-Core的模型结构基本与CGA-tumor相同，一个区别在于跨任务引导位置的不同，其次是CGA-Core中的Pt，Pn表示这个体素属于肿瘤核心还是非肿瘤核心的概率
总结
本文提出的OM-Net专门用于处理类不平衡问题，OM-Net的性能比模型级联好是因为它不仅显著的降低了模型和系统的复杂度。而且通过共享参数训练数据，甚至是预测结果彻底的挖掘了任务的相关性。
3848
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
