经典分割算法-DFN

华科 北大 在CVPR2018发表

一 宏观角度看待分割问题

• 微观角度：每一个像素都对应一个具体类别
• 宏观角度：将语义分割看作一个任务，将一致的语义标签分配给一类事物，而不是每个像素，按照这一个角度，语义分割中就会存在类间不一致和类类不一致的问题
• 宏观角度：以语义地图为例，交通信号灯在点云地图中，他们只是三维形状，有坐标位置，朝向或车道应用范围等信息，这些信息并不足以帮助自动驾驶做出行驶策略，因为交通灯还可能有红灯或绿灯等各种状态，这时语义地图就能发挥作用，它能够辅助车辆的感知和规划系统判定交通信号灯状态，这就是语义地图与其他地图的区别所在。
• SLAM：同步定位与建图。即时定位与地图构建，或并发建图与定位。问题可以描述为：将一个机器人放入位置环境中的未知未知，是否有办法让机器人一边移动一边描绘出此环境完全的地图，所谓完全地图，是指不受障碍行进到房间可进入的每个角落，SLAM的意义是实现机器人自主定位和导航。

二 注意力机制

深度学习中的注意力机制从形式上讲和人类的选择性视觉注意力机制类似，核心目标也是从众多信息中选择出对当前任务目标更关键的信息。
注意力机制包含两个步骤：

• 注意力机制需要先决定整段输入的那个部分需要更加关注
• 从关键的部分进行特征提取，得到重要的信息

注意力机制按注意力的关注点可分为：

• 空间域
• 通道域
• 层域
• 混合域
• 时间域
  注意力机制可以帮助模型为输入图像的各个部分分配不同的权重，提取更关键、更重要的信息，使模型能够做出更准确的判断，同时不会给模型的计算和存储带来更多的损耗

2.1 代表算法

• 2019 CVPR Dual Attention Network For Sence Segmentation
  DANet引入了一种自注意力机制来分别捕捉空间域和通道域中的视觉特征依赖性
  
  空间域：
  网络输出的局部特征A（c,h,w），首先利用三个卷积层得到BCD三个特征，并分别reshape到（c，n），然后将B的转置与C相乘，在通过softMax得到spatial attention map S（N，N），将S的专职与D矩阵相乘后的结果reshape到（c，h，w），在加上原始输入图像得到最后的输出。
  
  通道域：
  先对A进行reshape到CN，然后A与A的专职进行矩阵相乘，经过softmax后得到通道间的map X（c，c），之后在乘以A，得到的输出结果与原图相加后获得最后的输出E

三 DFN摘要

• 背景介绍：现代语义分割算法会存在类内不一致和类间不一致的问题
• 算法组成：提出了DFN网络，包括平滑网络和边界网络
• 具体作用：平滑网络用于解决类内不一致，通过引入注意力机制和全局平均池化选择更具代表性的特征，边界网络通过深度语义边界监督更好的区域双边特征

四 相关工作

1. FCN/PSPNet/RefineNet/GCN等网络学习到的特征不具备类内和类间不一致的判别能力
2. 创新角度：从宏观的角度看待语义分割任务，以往的文章都是从微观角度看待语义分割，即对每个像素点进行分类，这样就会导致上面提出的两个问题。本文将一致的语义标签分配给事物的类别，而不是每个像素点，将每类像素做为一个整体，内在考虑类内一致性和类间变化，因此这要求提取到的特征需具有判别能力

五 算法架构

Border Network

主要思想：利用多监督，使网络学习到的特征具有很强的类间不一致性。利用bottom-up结构，获取更多的语义信息
优点：该模块可以从低阶网络获得边界信息，从高阶网络获得语义信息，再融合，避免缺失某类信息的情况出现，高阶语义信息具有优化低阶边界信息的作用
使用focal loss监督Border NetWork的输出

Smooth NetWork

问题1:不同尺度的感受野产生的特征具有不同程度的判别能力导致结果不一致
作用1:用高阶信息的一致性指导低阶信息从而提升预测效果
现有的方法大致分为两种类型：一是用不同尺度的全局信息嵌入PSP、ASPP 二是Encoder-Decode结构，即利用不同阶段固有的多尺度语境，但缺房具有强一致性的全局语境