原文链接
代码与数据集github网址
Poma, X. S., Riba, E., & Sappa, A. (2020). Dense extreme inception network: Towards a robust cnn model for edge detection. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (pp. 1923-1932).
文章目录
1. 摘要
- 贡献1:受HED (Holistically-Nested Edge Detection) 和
Xception的启发,提出一个用于生成人眼可能看到的薄边缘图的模型DexiNed: Dense Extreme
Inception Network for Edge Detection,用于任何边缘检测任务,无需经过长时间训练或微调,从 DexiNed 预测的边缘在大多数情况下都比最先进的结果要好, - 贡献2:贡献了一个数据集BIPED:Barcelona Images for Perceptual Edge
Detection,精心标注,相关SOTA模型在此数据集上测试对比。
2. 模型
DexiNed 可以看作是两个子网络:
- 密集极端初始网络(Dexi)
- 上采样块(UB)
Dexi 的输入的是 RGB 图像,而 UB 则使用 Dexi每个块输出的特征图作为输入。
2.1 DexiNed Architecture
DexiNed它由一个编码器组成,该编码器具有 6 个受 xception 网络启发的输出块。
网络在每个主要块上输出特征图,然后使用第 2.2 节中定义的上采样块生成中间边缘图,由上采样块产生的所有边缘图都被连接起来,送到网络最末端的学习滤波器堆栈,并产生融合边缘图。所有的上采样模块没有共享参数。
蓝色块由两个卷积层的堆栈组成,内核大小为 3 × 3,然后是批量归一化和 ReLU 作为激活函数(只有最后一个子块中的最后一个卷积没有这样的激活)。最大池由 3 × 3 内核和步长 2 设置。由于架构遵循多尺度学习,就像在 HED 中一样,遵循上采样过程(灰色的水平块)
尽管 DexiNed 的灵感来自 xception,但相似之处仅在于主要块和连接的结构。 主要区别详述如下:
- 在 xception 中使用可分离卷积,而 DexiNed 使用标准卷积。
- 由于输出是 2D 边缘图,因此存在“非出口流”,而是在块 5 的末尾添加了另一个块。 该块有 256 个过滤器,并且在块 5 中没有 maxpooling 运算符。
- 在块 4 和块 5 中,设置了 512 个过滤器而不是 728 个过滤器。 主要块的分离是通过图顶部绘制的块连接(绿色矩形)完成的。
- 关于跳跃连接,在 xception 中有一种连接,而在 DexiNed 中有两种类型的连接,参见图顶部和底部的绿色矩形。
由于执行了许多卷积,每个深度块都会丢失重要的边缘特征,而只有一个主连接是不够的,从第四个卷积层开始,边缘特征损失更加混乱。 因此,从块 3 开始,每个子块的输出都使用边连接(图中的橙色方块)进行平均。
- i) 如图所示,在最大池化操作之后,与主连接求和之前,边连接为设置为平均每个子块输出(见绿色矩形,底部);
- ii) 从最大池,块 2,边缘连接馈送块 3、4 和 5 中的子块,但是,6 中的子块仅从块 5 输出馈送。
2.2 Upsampling Block
DexiNed 旨在产生细边缘,以增强预测边缘图的可视化。 DexiNed 用于边缘细化的关键组件之一是上采样块,如图所示,来自 Dexi 块的每个输出都馈送到 UB。