【论文笔记】《Holistically-Attracted Wireframe Parsing》

CVPR2020 《Holistically-Attracted Wireframe Parsing》

Authors: Nan Xue, Tianfu Wu, Song Bai, Fudong Wang, Gui-Song Xia, Liangpei Zhang, Philip H.S. Torr

论文链接：https://openaccess.thecvf.com/content_CVPR_2020/papers/Xue_Holistically-Attracted_Wireframe_Parsing_CVPR_2020_paper.pdf

论文代码：https://github.com/cherubicXN/hawp

个人理解，如有错误见谅

Introduction

线框解析（Wireframe parsing）的目标如下图，是要在图像中检测出显著的直线（salient line segments）和连接点（junction）

在这篇论文之前，效果最好的线框解析方法是L-CNN，L-CNN对于这个问题的处理方法是通过深度学习学习到一个连接点检测器（junction detector）,而没有直接学习一个线段检测器.对于线段，L-CNN使用了一种采样方法基于预测的junctions来生成线段的proposals,之后通过一个验证模块对proposals进行分类。L-CNN的整体结构如下图：
本论文作者所提出的另外一种方法Attraction Field Map(AFM)，在学习过程中则没有使用junction的信息，而是对线段进行检测。但是这种方法不是严格端到端的，最后使用偏移向量推断出的是直线而非线段，所以需要使用Squeezing Module（具体过程可查阅AFM论文，本文中只介绍HAWP相关部分）。

此论文提出一种新的方法，可以进行端到端的训练，并且在速度上也有一定优势。具体在于对于之前的AFM表示方法进行了改进，并且在训练中同时使用了线段和连接点的信息来提高准确率和效率。大致架构如下：

可以看到HAWP主要分为三个部分：Proposal Initialization,Proposal Refinement,Proposal Verification

• Proposal Initialization：主要是根据输入图像经过某种网络（论文中使用了堆叠沙漏网络Stacked Hourglass Network）得到的特征图预测junctions和line segments
• Proposal Refinement：对线段和连接点进行匹配，将不能匹配的线段和连接点舍弃掉
• Proposal Verification：将上一步保留的线段和连接点进行分类，这里使用的是L-CNN当中相同的方法

Related Work

在相关工作这一部分，论文介绍了不同的线段表示方法及其特点，另外介绍了相关的线框解析算法，这里作者提到了一种分类方式：

1. Holistic wireframe parsing：proposal包括线段和连接点
2. Deductive wireframe parsing：proposal只关于连接点，线段是通过基于连接点采样得到的

这也解释了论文题目中的“Holistically”的含义

Holistic Attraction Field Representation

这一部分是对原图中的像素进行重新参数化，得到线段的表示，从而能够使用网络进行学习。

Background on AFM

首先先介绍一下之前的AFM的表示方法：
对于图像中的每一个像素p，都将其分配到图像中的某一条线段，分配的依据是到线段的距离最小，计算方法是假设p在线段的投影点为p’，如果p’不在线段上，那么p’就被设置为线段两个端点中到p欧式距离小的那一个。

这样点到线段的距离就是p与p’的欧氏距离，选取距离最小的线段，将p分配给它。这样p就被重新参数化为$\mathbf{p}-{\mathbf{p}}^{\prime }$(向量相减)。

对所有像素应用上述过程就得到了线段图的AFM，所以最后得到的AFM其实是一个二维向量场，同时也得到了图像关于直线的分区（上图a中的support region）。

The proposed holistic attraction field map

如上图，论文中提出的方法分为三步：

1. 平移：使用p作为新的坐标原点
2. 旋转：线段旋转到与新坐标系的y轴平行，坐标原点（p）在线段左侧，旋转角度为$\theta$
3. 缩放：使用p到线段的距离d作为坐标轴的单位长度，对坐标进行标准化，同时令${\theta }_1,{\theta }_2$分别表示图中的两个角，则线段两端点的坐标可以重新表示为图中方式

这样线段$\ddot{l}$支持区域中的点$p$可以重新参数化为：
$$p(l$$