[TPAMI2021]Deep Hough Transform for Semantic Line Detection读论文笔记

目录

方法

数据集

霍夫变换算法

直线参数化

深度霍夫变换

优点

实验结果

精度，准确率

耗时

---

TPAMI2021南开大学提出深度霍夫变换:语义线检测新方法

主页：https://mmcheng.net/dhtline/

论文：http://mftp.mmcheng.net/Papers/21PAMI-DHT-line.pdf

代码：https://github.com/Hanqer/deep-hough-transform

方法

该论文提出“深度霍夫变换（DHT）”通过在深度特征上进行霍夫变换，从而兼顾CNN的特征学习能力和霍夫变化的高效性。

数据集

该论文同时手机了一个包含室内外场景的大型语义线检测数据集NKL,该数据集有6500张图像以及超过1万根语义线标注，为该领域目前最大的公开数据及。

霍夫变换算法

首先霍夫变换是一种经典的直线检测算法，它通过将任意直线转换到参数空间，从而将图像空间的线检测问题简化为参数空间的点检测问题。例如平面上任意直线都可以用y=kx+b表示，因此任意一条直线都可以表示为参数空间中的一个点(k,b)。

传统的霍夫变换，需要先用边缘检测算法对图像进行边缘检测，然后再在边缘检测的结果上进行霍夫变换，最后再变换空间通过寻找局部最大值来检测直线。

直线参数化

为了进行霍夫变换，首先定义直线参数化的规则如下图。

如上图所示，平面中任意一条直线都可以用原点到直线的距离r,和直线的角度theta作为参数来表示，这样选定直线参数的好处是可以参数化任意角度和位置的直线，（用kx+b无法参数化与y轴平行的直线）。

深度霍夫变换

如下图所示，对于一个输入的图片，先通过CNN特征提取器得到空间特征X，“深度霍夫变换”遍历图像中所有可能的直线并沿着直线将特征聚合到参数空间中对应的点上，在实现中，使用简单的求和实现特征聚合。

 

经过深度霍夫变换，原特征空间X上的一根直线对应着参数空间Y上的一个点。在很多的视觉任务中，特征的上下文（context）对于检测结果十分重要，深度霍夫变换将直线转化为点，因此提取相邻直线的上下文信息对应于在参数空间中提取相邻点的特征，大大简化和上下文信息提取的效率。

如上图所示，在原图像上提取橙色线的上下文信息需要复杂的索引操作，经过霍夫变换之后，只需要一个简单的3*3卷积即可提取中心线周围直线的特征。

优点

深度霍夫变化总的来说有如下几个优点

• 高度可并行化，相较于基于目标检测的SLNet方法加速了近20倍；
• 无需NMS
• 高效的上下文直线信息提取

实验结果

精度，准确率

论文主要在SEL和NKL数据集上进行实验，对比了HED边缘检测+霍夫变换，SLNet两种语义检测方法。实验结果表明深度霍夫变换算法检测精度显著高于其他两种算法，同时大幅提高检测速度。

上表1中记录了不同的语义检测方法在两个数据集上的表现，CD，EMD，EA分别指Chamfer distance（倒角距离）， earth-mover's distance 和 EA-score 这是三种评价直线相似度的度量指标。AvgP,R分别表示平均precision,recall,F-measure.

 

耗时

下表统计了不同方法在 Titan XP 显卡上的平均推理耗时