CVPR2020 《Holistically-Attracted Wireframe Parsing》
Authors: Nan Xue, Tianfu Wu, Song Bai, Fudong Wang, Gui-Song Xia, Liangpei Zhang, Philip H.S. Torr
论文代码:https://github.com/cherubicXN/hawp
个人理解,如有错误见谅
文章目录
Introduction
线框解析(Wireframe parsing)的目标如下图,是要在图像中检测出显著的直线(salient line segments)和连接点(junction)
在这篇论文之前,效果最好的线框解析方法是L-CNN,L-CNN对于这个问题的处理方法是通过深度学习学习到一个连接点检测器(junction detector),而没有直接学习一个线段检测器.对于线段,L-CNN使用了一种采样方法基于预测的junctions来生成线段的proposals,之后通过一个验证模块对proposals进行分类。L-CNN的整体结构如下图:
本论文作者所提出的另外一种方法Attraction Field Map(AFM),在学习过程中则没有使用junction的信息,而是对线段进行检测。但是这种方法不是严格端到端的,最后使用偏移向量推断出的是直线而非线段,所以需要使用Squeezing Module(具体过程可查阅AFM论文,本文中只介绍HAWP相关部分)。
此论文提出一种新的方法,可以进行端到端的训练,并且在速度上也有一定优势。具体在于对于之前的AFM表示方法进行了改进,并且在训练中同时使用了线段和连接点的信息来提高准确率和效率。大致架构如下:
可以看到HAWP主要分为三个部分:Proposal Initialization,Proposal Refinement,Proposal Verification
- Proposal Initialization:主要是根据输入图像经过某种网络(论文中使用了堆叠沙漏网络Stacked Hourglass Network)得到的特征图预测junctions和line segments
- Proposal Refinement:对线段和连接点进行匹配,将不能匹配的线段和连接点舍弃掉
- Proposal Verification:将上一步保留的线段和连接点进行分类,这里使用的是L-CNN当中相同的方法
Related Work
在相关工作这一部分,论文介绍了不同的线段表示方法及其特点,另外介绍了相关的线框解析算法,这里作者提到了一种分类方式:
- Holistic wireframe parsing:proposal包括线段和连接点
- Deductive wireframe parsing:proposal只关于连接点,线段是通过基于连接点采样得到的
这也解释了论文题目中的“Holistically”的含义
Holistic Attraction Field Representation
这一部分是对原图中的像素进行重新参数化,得到线段的表示,从而能够使用网络进行学习。
Background on AFM
首先先介绍一下之前的AFM的表示方法:
对于图像中的每一个像素p,都将其分配到图像中的某一条线段,分配的依据是到线段的距离最小,计算方法是假设p在线段的投影点为p’,如果p’不在线段上,那么p’就被设置为线段两个端点中到p欧式距离小的那一个。
这样点到线段的距离就是p与p’的欧氏距离,选取距离最小的线段,将p分配给它。这样p就被重新参数化为 p − p ′ \bold p - \bold {p'} p−p′(向量相减)。
对所有像素应用上述过程就得到了线段图的AFM,所以最后得到的AFM其实是一个二维向量场,同时也得到了图像关于直线的分区(上图a中的support region)。
The proposed holistic attraction field map
如上图,论文中提出的方法分为三步:
- 平移:使用p作为新的坐标原点
- 旋转:线段旋转到与新坐标系的y轴平行,坐标原点(p)在线段左侧,旋转角度为 θ \theta θ
- 缩放:使用p到线段的距离d作为坐标轴的单位长度,对坐标进行标准化,同时令 θ 1 , θ 2 \theta_1,\theta_2 θ1,θ2分别表示图中的两个角,则线段两端点的坐标可以重新表示为图中方式
这样线段 l ¨ \ddot{l} l¨支持区域中的点 p p p可以重新参数化为:
p ( l ¨ ) = ( d , θ , θ 1 , θ 2 ) p(\ddot{l})=(d,\theta,\theta_1,\theta_2) p(l