Holistically-Nested Edge Detection（HED）

一、相关介绍

2015年发表的《整体嵌套边缘检测》

当时存在的视觉问题中的两个重要问题：（1）整体图像训练和预测；（2）多尺度和多层次的特征学习。

整体嵌套边缘检测器（HED）解决了两个关键问题：（1）受全卷积神经网络的启发，用于图像到图像分类的整体图像训练和预测（系统以图像为输入，直接生成边缘图图像作为输出）（2）嵌套多尺度特征学习，其灵感来自深度监督网络，执行深层监督以“指导”早期分类结果。我们发现，这些底层技术的有利特性体现在HED既准确又计算高效。

我们将多尺度深度学习的可能配置正式化为四类，即多流学习、跳过网络学习、在多个输入上运行的单个模型和独立网络的训练。如图2所示。

  多流学习方法一个典型的多流学习架构如图2(a)所示。注意多个(并行)网络流具有不同的参数数量和感受野大小,对应多个尺度。输入数据同时送入多个流,之后各流产生的连接特征响应会送入全局输出层产生最终结果。

  “跳过层”网络学习的关键概念如图2(b)所示。不同于训练多个并行流,跳过网络架构的拓扑设计以主流为中心。添加链接以结合主网络流不同层级的特征响应,然后这些响应会在共享输出层结合。

  上述两种设置的共同点是,在两种架构中,只有一个输出损失函数产生单个预测。但是,在边缘检测中,获得多个预测以结合边缘图通常更有利(且实际上也更常见)。

  在多个输入上运行的单个模型:为获得多尺度预测,也可以将单个网络(或带有绑定权重的网络)运行在多个(缩放后的)输入图像上,如图2(c)所示。这种策略可以在训练阶段(作为数据增强)和测试阶段(作为“集成测试”)进行。一个值得注意的例子是带有绑定权重的金字塔网络。这种方法在非深度学习方法中也很常见。需要注意,集成测试会降低学习系统的预测效率,尤其是对更深的模型。

  训练独立网络:作为图2(a)的极端变体,可以采取图2(d)中的方法,通过训练具有不同深度和不同输出损失层的多个独立网络来获得多尺度预测。但是,这可能在实践中很难实现,因为这种重复会使训练所需资源数量成倍增加。

整体嵌套网络:我们列出这些变体,以帮助明确已有方法与我们提出的整体嵌套网络方法之间的区别,如图2(e)所示。已有方法在表示和计算复杂性方面通常存在显著冗余。我们提出的整体嵌套网络是一个相对简单的变体,能够产生多尺度预测。该架构可以解释为“整体嵌套”版本的图2(d)中的“独立网络”方法,这也是我们选择该名称的原因。我们的架构包含一个单流深度网络,具有多个边输出。该架构类似于几项前期工作,特别是 deeply-supervised net方法,其中作者证明隐藏层监督可以改善图像分类任务的优化和泛化能力。多个边输出也为我们提供了选择添加额外融合层的灵活性,以获得统一输出。

二、边缘预测的方法

训练阶段

目标：训练出一个网络,能从中提取特征来产生接近真实边缘图的边缘图。

其中样本Xn={x（n）j，j=1，…，|Xn|}表示原始输入图像，y(n)j ∈ {0,1}表示图像Xn对应的二值真实边缘图。我们用W表示所有标准网络层参数的集合。假设网络中有M个边输出层,每个边输出层也对应一个分类器,其对应的权重记为w = (w(1),...,w(M))。

我们考虑目标函数:

l side表示边输出层的图像级损失函数。在我们的图像到图像训练中,损失函数计算每个训练图像X = (xj, j = 1, ..., |X|)和边缘图Y = (yj, j = 1, ..., |X|),yj ∈ {0,1}中的所有像素。对一个典型自然图像来说,边缘/非边缘像素的分布是严重偏斜的:90%的真值是非边缘。文中提出了一种考虑成本的损失函数,为偏斜采样引入了额外的权衡参数。

三、网络结构 

• HED 模型包含五个层级的特征提取架构，每个层级中：

  • 使用 VGG Block 提取层级特征图

  • 使用层级特征图计算层级输出

  • 层级输出上采样

• 最后融合五个层级输出作为模型的最终输出：

  • 通道维度拼接五个层级的输出

  • 1x1 卷积对层级输出进行融合