（二十七：2021.01.08）MICCAI 2020 学习（二）《BiO-Net》

讲在前面

• 一.论文地址在这里
• 二.我设计了几种字体颜色用于更加醒目地表现关键的思想和主题：
  • 红色表示本文的重要关键信息
  • 绿色表示此处需要参考的论文其他部分
  • 橙色表示尚未理解透彻的一些概念
  • 我会用删除线将自己曾经不到位的理解进行删除
  • 蓝色表示此处的一些个人思考
  • 紫色表示我的更新内容
• 三.目的：研究该改进算法的实验结果，理解该算法的思想，尝试去改进算法。
• 四.意义：
• 五.思考：

摘要

        U-Net已成为用于现代计算机视觉任务（例如语义分段，超分辨率，图像降噪和修复）的基于深度学习的最新技术之一。 U-Net的先前扩展主要集中在修改其现有构建基块或开发新的功能模块以提高性能。 结果，这些变体通常会导致模型复杂性的增加。 为了解决此类U-Net变体中的此问题，在本文中，我们提出了一种新颖的双向O型网络（BiO-Net），该网络以循环方式重用构建基块，而无需引入任何其他参数。 我们提出的双向跳跃连接可以直接应用于任何编码器/解码器结构中，以进一步增强其在各种任务领域中的功能。我们在各种医学图像分析任务上评估了我们的方法，结果表明，我们的BiO-Net大大优于vanillaU -Net以及其他最新方法。代码地址在这里。
关键词：语义分割、双向连接、递归神经网络

论文内容

1.介绍

        基于深度学习的方法最近在辅助医学图像分析中占了上风，例如整个图像分类，脑病灶分割和医学图像合成。 U-Net作为最流行的基于深度学习的模型之一，已经在众多医学图像计算研究中证明了其令人印象深刻的表现能力。 U-Net引入了跳跃连接，可以跨多个语义尺度聚合特征表示，并有助于防止信息丢失。

1.1 U-Net Variants（U-Net的变体总结）

        最近的工作提出用不同的模块设计和网络构建来扩展U-Net结构，从而说明其在各种可视化分析任务中的潜力。 V-Net在较高尺寸的体素上应用U-Net并保持其内部结构。 W-Net修改了U-Net，以通过自动编码器样式模型连接两个U-Net来解决无监督的分割问题。与U-Net相比，M-Net将不同比例的输入特征附加到不同的级别，因此可以通过一系列下采样和上采样层来捕获多级视觉细节。 最近，U-Net ++采用嵌套和密集跳过连接来更有效地表示细粒度的对象细节。 此外，注意力U-Net使用额外的分支来将注意力机制自适应地应用于跳过和解码特征的融合。 但是，这些建议可能涉及其他构建块，这导致更多的网络参数，从而增加了GPU内存。 与上述变体不同，我们的BiO-Net通过一种新颖的功能重用机制提高了U-Net的性能，该机制在编码器和解码器之间建立双向连接，以递归方式进行推理。

1.2 Recurrent Convolutional Networks（递归神经网络）

        使用递归卷积迭代优化在不同时间提取的特征已被证明对于许多计算机视觉问题是可行且有效的。郭等人建议重用ResNet中的残差块，以便充分利用可用参数，并显着减小模型大小。 这种机制也有利于U-Net的发展。结果，王等人提出R-U-Net，可以递归连接UNet的编解码对来加强语义分割对信息的表达能力，尽管他也引入了一些额外的学习模块，但也只是作为一个折中的方法引入。BiO-Net与R-U-Net的反向跳跃连接是不同的，因为后者的解码器的特征被多次反复使用，目的是为了随着当前步骤保存的梯度聚合更多的过渡信息。R2U-Net采用了类似的方法，但是是仅在每个细化级别上都递归最后一个构建块。与这些不同的是，我们的方法是在现有的编码器和解码器之间学习递归连接，而不是递归同一水平的block，因为这样并不能利用解码器的精细化特征。
        所以，最终我们提出了BiONet，一个带有双向O型推理轨迹的递归UNet。改网络将解码器的特征通过反向跳跃连接传送给编码器，通过这种方式不断在编解码器之间进行递归。与之前的一些算法相比，我们的方法更好的实现了特征的细化，因为我们的网络出发了多个编解码机制。我们将我们的BiO-Net应用于在核分割任务和EM膜分割任务上的语义分割，并且我们的结果表明，所提出的BiO-Net优于其他U-Net变体，包括同样使用递归的其他方法和许多SOTA方法。超分辨率任务还证明了我们将BiO-Net应用于不同场景的重要性。

2.方法

        就像图一展示的这样，BiONet采用与UNet相同的网络结构，没有添加任何额外的功能模块，只使用了成对的双向连接。它在展开过程中没有引入额外的可训练参数，从而实现了更好的性能。 此外，我们的方法不限于U-Net，还可以集成到其他编码器/解码器体系结构中以执行各种视觉分析任务。
图一：

2.1 递归双向跳跃连接

BiO-Net模型的主要独特之处在于引入了递归双向跳跃连接，这有助于编码器处理解码器中的语义特征，也有助于解码器处理编码器的信息。

• 前向跳跃连接(Forward Skip Connections)：
  连接同一个水平线上编码器和解码器前向跳跃连接可以保存low-level的图像特征 $f_{enc}$ 和他们的梯度信息。因此第 $l$ 个解码块就能将从底下传上来的信息 x i n ^ \hat{x_{in}} x