本篇论文提出了一种新的网络结构进行边缘检测,论文这种网络结构称为Holistically-nested network。HED能够实现图像到图像的训练,输入一个图像,输出这个图像的边缘检测图。
1.现有的Multi-Scale和Multi-level学习的网络结构
2. (e)图是论文提出的HED网络体系结构,它的主要思想是每一个卷积层后面增加了一个side output layer,每个side output layer输出一个edge map,然后通过一个fusion layer将各个side output层输出的edge map进行融合,得到最后的边缘检测结果。
3. 论文HED的结构是通过对16层的VGG-Net进行修改得到的,先是为每个阶段的最后一个卷积层增加一个side output layer,然后去除VGG最后一个阶段部分(个人理解是去除第5个pooling层和所有的完全连接层),这样就得到一个类似FCN又带有side output的网络结构,最后通过权值融合层将各个side output层的输出结果进行融合。
4. 下图显示了使用HED的边缘检测输出结果,以及各个side output的结果,图中最后一行是使用Canny检测算子的边缘检测效果: