论文笔记-Joint Task-Recursive Learning for Semantic Segmentation and Depth Estimation

论文信息

• 论文标题：Joint Task-Recursive Learning for Semantic Segmentation and Depth Estimation

• 论文作者：Zhenyu Zhang, Zhen Cui, Chunyan Xu, Zequn Jie, Xiang Li, Jian Yang

• 研究机构：Nanjing University of Science and Technology；Tencent AI Lab

• 论文出处：ECCV 2018

• 引用信息：

  @inproceedings{DBLP:conf/eccv/ZhangCXJLY18,
    author    = {Zhenyu Zhang and
                 Zhen Cui and
                 Chunyan Xu and
                 Zequn Jie and
                 Xiang Li and
                 Jian Yang},
    editor    = {Vittorio Ferrari and
                 Martial Hebert and
                 Cristian Sminchisescu and
                 Yair Weiss},
    title     = {Joint Task-Recursive Learning for Semantic Segmentation and Depth
                 Estimation},
    booktitle = {Computer Vision - {ECCV} 2018 - 15th European Conference, Munich,
                 Germany, September 8-14, 2018, Proceedings, Part {X}},
    series    = {Lecture Notes in Computer Science},
    volume    = {11214},
    pages     = {238--255},
    publisher = {Springer},
    year      = {2018},
    url       = {https://doi.org/10.1007/978-3-030-01249-6\_15},
    doi       = {10.1007/978-3-030-01249-6\_15},
    timestamp = {Sat, 29 Aug 2020 23:20:47 +0200},
    biburl    = {https://dblp.org/rec/conf/eccv/ZhangCXJLY18.bib},
    bibsource = {dblp computer science bibliography, https://dblp.org}
  }
  

• 代码链接：None

论文主要贡献和参考价值

• 主要贡献

  • 提出新的联合任务递归学习框架，用于语义分割和深度估计任务，将问题序列化为任务交替的时间序列，TRL 可以渐进地优化两个任务，并使得两个任务可以相互优化
  • 设计任务注意力模块使得两个任务的信息交互更有效，能够在网络中作为通用层或者通用模块使用

• 参考价值

  • 多任务促进

• 信息选择处理

  论文要点翻译

  • 摘要
    • 本文提出新的联合任务递归学习（Task-Recursive Learning, TRL）框架，用于闭环的语义分割和单目深度估计任务
    • TRL 可以递归地优化两个任务的预测结果，这一过程主要通过序列化的任务级交互实现的，为了使得两个任务之间能够相互促进，本文将这种交互关系封装到一个特殊的任务注意力模块 TAM 中，以此适应性地增强两个任务中共同的模式特征
    • 进一步地，为了使得预测结果更为可靠，将之前两个任务各自的学习经验传播到下一阶段的网络进化，主要通过将之前的响应进行显式地拼接
    • 任务级的序列交互使得最终实现从粗粒度到细粒度的空间进化得以实现，需要的细节信息渐进地得到重建
    • NYU-D v2 和 SUN RGBD 数据集上的实验结果说明了方法的有效性
  • 引言
    • 语义分割和单目深度估计是计算机视觉中两个极具挑战的任务，由于场景线索少、场景类型多、背景信息混杂、姿态改变和物体遮盖等问题，两个任务通常难以解决。最近，深度学习方法驱动的研究使得两个方法得到显著改善，在场景理解、机器人、自动驾驶等领域得到显著应用
    • 虽然 CNN 方法在单目深度估计和语义分割两个任务上已经取得了巨大成功，但是这些方法都强调能学习到鲁棒的回归模型，但是很少考虑两个任务之间的交互；实际上，两个任务有许多共有的特性，可以加以利用，使两个任务能相互促进。例如：语义分割和场景的深度都是物体形状和边缘信息的布局。最近的工作也表明，利用 RGB-D 数据中的信息可以帮助改善语义分割的结果，因此，现有的研究应当考虑两个任务的联合学习训练，使得两个任务可以相互促进
    • 现有的两个任务的联合学习方法都是对多任务学习的扩展，包含分类和检测等多项任务，但是这样的联合学习方法只是一种浅层的任务交互，例如，使用共有的特征编码器提取图像特征同时用于两个任务，在高层网络还是单独执行两个任务，这样的交互还是相对独立考虑两个任务，但是，众所周知，人类的学习是利用交互、循环的方式在不同任务之间获益的，例如，读和写两个任务是可以在不断交替的过程中相互提高的，因此，文本人文任务交替式的学习模式可以让深度学习方法得到进一步探索
    • 为了解决这个问题，本文提出新的联合任务递归学习框架，将闭环的语义分割和室内场景深度估计两项任务同时解决，两个任务的交替被序列化为时间轴上的交互，在时间维度，两项任务相互交替优化，每一次的交互中，之前状态的历史经验被选择性地进行传播，用于估计新的状态
    • 为了有效进行信息的传递，本文设计了任务注意力模块实现两个任务的相互关联，其中两个任务共有的和当前任务相关的有用信息将被加强而任务无关的信息则绕过，因此，两个任务的学习过程就被简单地模块化为一个序列网络，也就是本文所谓的任务递归学习网络
    • 此外，考虑到高分辨率的像素级预测较为困难，本文设计的递归任务学习网络以粗粒度到细粒度的方式进行递归任务学习，可以将估计结果的细节信息进行渐进地优化
  • 相关工作
    • 深度估计：经典 CNN 方法、CRF 优化、双任务学习、语义分割促进
    • 语义分割
    • 多任务学习
  • 方法
    • 研究动机
      • 本文关注两个任务的交替学习
      • 动机1：人类从交替任务学习中获益
      • 动机2：两个任务的组合在一定程度上除了共享相似的信息之外还能够互补
      • 本文的目标是使得网络能更深层次地探索两个任务之间的交替相互作用，本文将这个过程形式化为一个时间维度的状态转换序列，用 $D_p$ 和 $S_P$ 分别表示时间 $p$ 阶段深度估计的任务状态和语义分割的任务状态，对应的回复响应为 $f_D^p$ 和 $f_S^p$，之前的训练经验记为 F D p − 1 : p − k = { f D p − 1 , . . . , f D p − k } \mathcal F_D^{p-1:p-k}=\{f_D^{p-1},...,f_D^{p-k}\} FDp−1:p−k​={ fDp−1​,...,fDp−k​} 和 F S p − 1 : p − k = { f S p − 1 , . . . , f S p − k } \mathcal F_S^{p-1:p-k}=\{f_S^{p-1},...,f_S^{p-k}\} FSp−1:p−k​={ fSp−1​,...,fSp−k​} ，则在时间段