《基于RCF边缘检测和双目视觉的箱体体积测量算法》论文阅读笔记

原论文查看地址：https://csnjiokh71.feishu.cn/file/boxcnyF7HGMFDiWayf0vSTcYTec

1.双目畸变的原理分析：

实际情况下，相机的主点（c x ，c y ）并不位于图像中心，两者存在一定的偏差，而且 X 方向的等效焦距 f x 和 Y 方向的等
效焦距 f y 也不相等，所以还需要求解相机的畸变参数；
设畸变坐标为（ x ， y ） , 矫正后坐标为（ x` , y`），则畸变矫正的数学模型为：

其中，k1、k2、k3为切向畸变参数，p1、p2为径向畸变参数

2.算法核心思想

3.RCF边缘检测

用训练好的 RCF 网络模型提取的轮廓二值图

4.细化

文章采用A Fast Parallel Algorithm for Thinning Digital Patterns 提出的细化算法找到图像中物体的骨架

5.提取最大轮廓

文中没有细讲采用了什么算法（非极大值抑制NMS？）

经过这一操作物体特征采集为

6.边缘分类

让左右图中箱体的边缘一一对应：

首先利用 LSD直线检测算法（该论文翻译），提取出箱体边缘的直线；然后，把这些检测到的直线利用 K-means 聚类算法，按照直线斜率以及位置关系进行分类。

7.RANSAC直线拟合

把多条直线拟合成一条直线：

该算法的主要思想是每一次选取两点，拟合一条直线，不仅要保证该条直线的内点数达到总数的一定比例，而且该直线的斜率与所有直线的平均斜率接近，并且本文采用的是自适应平均斜率；假设每条直线的斜率为 g i ,每条直线的长度为 l i , 则自适应平均斜率为：

然后，按照此步骤迭代 K 次，一旦拟合的直线数的内点达到规定的值，就可以结束迭代；否则，就按迭代K 次中得到的最大内点数的那条直线为想要的直线。

8.定位边缘与顶点

要在原图中定位出边缘与顶点：

由于边缘二值图和原图是对应关系，因此，首先在原图进行 LSD 直线检测，再找到与边缘二值图中边缘直线相 似 的 直 线 ，即 斜 率 和 位 置 相 近 ，然 后 再 次 进 行RANSAC 直线拟合，就可得到原图的边缘，最后利用直线相交得到箱体的顶点。

？？？这原图的定位不能从二值图这边转移过去吗？（感觉这一步多此一举）

效果图

9.双目测距与计算体积

假设左右相机的像平面位于同一平面上，并且两幅图像是行对准的，那么对于三维空间中的一个点 P ，其在左右两幅图像中的行坐标分别为 x l 、x r , 则有：

其中， Z 为三维空间点 P 与摄像机之间的距离， f为摄像机的焦距， B 为两幅摄像机的中心距，x l - x r ，定义为视差值。为了得到场景的三维信息，还需要计算空间点 P 的 X 坐标与 Y 坐标，假设 x 、 y 为 P 对应的图像坐标，相机的主点为（c x ，c y ）， X 方向的等效焦距和Y 方向的等效焦距分别为 f x 、f y ，则有：

由于左右摄像机拍摄的是同一场景，那么左右图像对中箱体的顶点存在一一对应的关系，再根据双目立体视觉测距的原理，就可以计算得到箱体各个顶点的三维信息；最后根据两点之间的距离计算公式 , 就可得到箱体在三维空间中的长宽高。假设 V 表示箱体体积，则有 V=l*w*h, 其中 l 、 w 、 h 分别为箱体的长宽高。

本文中红字代表主题和思路，黄字是个人想法，黑字摘自原文内容。