基于摄像机内部协作的双目视觉测量系统

1. 介绍

提出了一种基于摄像机内部协作的双目视觉测量系统，在硬件结构上，该系统由双目视觉模块、可控平台和电子水平仪组成，可以采集双目图像，测量双目视觉模块与物体的水平和垂直角度。在数据处理方面，提出了一种基于单目视觉和双目视觉协同的测量方法。
首先，根据特征点匹配的结果得到一些有效点的深度值。然后，采用基于MBC的深度传播算法计算目标区域的其他深度信息。之后，根据对应的视差值计算单位像素的实际大小，并根据水平和垂直角度进行校正。最后，通过累加像素数，实现了对物体尺寸的精确测量。

2. 硬件结构

如图1，由双目视觉模块、可控平台和电子水平仪组成。双目视觉模块用于捕捉物体的清晰双目图像，由两个具有相同内部参数的摄像机组成。两台摄像机平行放置在可控平台的金属板上。可控平台是安装和固定双目视觉模块的支撑设备。可控平台还有另外两个功能：一是可控平台有助于减小相机抖动，获得高质量的图像。二是通过遥控的指令，控制平台可以旋转，帮助双目视觉模块调整拍摄角度，从而保证系统能够拍摄到完整的物体。电子水平仪安装在平台的侧面。通过检测可控平台的姿态，可以采集双目视觉模块与目标之间的水平和垂直角度。

3. 协同测量

3.1 传统双目视觉（TB）测量方法

传统双目方法如图2.，3所示，使用三角测量法可计算出景深：

图2 双目视觉模型示意图

图3 两点成像示意图

3.2 单目和双目视觉协同测量（MBC）

3.2.1 理想模型

和双目模型一样，如图4所示，M1、M2出于平行位置，且映射点m1、m2的|x1-x2|=1 像素，根据相似三角形可得出M1M2的距离：

图4 理想模型

3.2.2 真实模型

在实际情况下，物体可能与双目视觉模块不平行。假设被测物体与摄像机之间的夹角为θ，因图5真实模型中红方框所示三个相似三角形，可得出△Z：

图5 真实模型

因此M1M2的真实距离为：
则可以根据一些有效像素的深度信息推断出所有像素的实际大小。

3.2.3 TB与MBC方法对比

TB方法中P1P2实际距离：
MBC方法实际距离：

TB法可以看出视差值处于分母的位置，视差值的微小偏差会给测距结果带来很大的误差。在MBC方法的深度传播算法中，视差值偏差引起的误差将转换为分子的位置。采用MBC方法的深度传播算法可以大大降低视差值偏差的影响。

3.2.4 实验对比

在构建的虚拟平面检测中，TB和MBC的测量误差计算公式为：
如图6所示，TB法的误差与拍摄角度和焦距成正比，与P1的测量距离和视差值成反比。MBC方法的误差与拍摄角度成正比，但与测量距离、P1视差和焦距成反比。结果表明，在四种不同条件下，MBC法的误差远小于TB法。

图6 TB法和MBC法的误差分析：（a）基于不同拍摄角度的误差分析；（b）基于P1P2不同距离的误差分析；（c）基于不同视差值的误差分析；（d）基于不同焦距的误差分析。

4. 基于MBC方法的尺寸测量算法

如图7（a）所示，使用双目视觉模块测量两点之间的距离，图7（b）显示了图像坐标中X轴和直线P1P之间的角度线的不同情况。

图7 基于MBC的距离测量原理图

测量算法步骤：
（1） 双目视觉模块采集物体的左、右图像。然后用张的校正方法进行校正。利用电子水平仪测量双目视觉模块与物体的水平和垂直角度。
（2） 然后利用Grabcut算法对左、右图像中的目标区域进行分割[。
（3） 利用特征点匹配方法得到目标区域的有效点对，然后，根据有效点对的差异计算相应的深度值。（4） 在左图像中检测出物体的边缘和角点。
（5） 根据最近距离原理，给每个有效点分配一个估计面积。通过MBC方法，可以在相应的有效点上测量估计区域内每个像素的实际大小。
（6） 根据步骤（5）的结果确定每个角点对应的有效点。
（7） 通过算法2，根据对应有效点的信息得到角点的深度值。
（8） 对象的实际边长等于相邻角点的距离。
并在上述步骤（3）中，提出了一种改进的SURF（Speeded-Up Robust Features）算法来实现可靠的特征匹配点对。
改进方法：
a、 利用SURF从双目图像中计算特征点及其64维描述子。
b、 根据左、右图像特征点之间的欧氏距离，提取原始匹配点对。
c、 将原始匹配点对连接成直线并计算其斜率。选择频率最高的斜率作为主斜率。保留与主坡度值相同的匹配点对。其余点对定义为有效点对。
d、 最后，计算有效特征匹配点对的视差值。
通过提出的MBC方法，可以通过双目模块与目标之间的有效视差值和角度来计算区域和距离，提高测量精度。

5. 实验

5.1 棋盘的测量精度测试

通过一个高精度棋盘来测试MBC方法的准确性，棋盘是由12个9×黑色和白色的正方形组成。棋盘上每个正方形的尺寸为30 mm ×30 mm ，如图8所示。

图 8 测量棋盘（绿色圆圈表示内角）

根据图9、10、11结果，TB法测量结果波动较大，具有不稳定性。该方法具有较低的误差，具有较好的性能。此外，该方法在拍摄角度的影响下仍能获得可靠的测量结果。用双目视觉模型测量距离时，可能会产生一些异常值。双目视觉模型测量方法有时可能不可靠。但MBC法的测量结果比TB法准确可靠。

图9 棋盘格测试图像绪序列1的测量误差比较：（a）左图像和右图像；（b）水平方向相邻角点的距离测量误差；（c）垂直方向相邻角点的距离测量误差。（摄像机的拍摄角度为：θx=0，θy=70.95°）

图10 棋盘格测试图像序列2的测量误差比较：（a）左图像和右图像；（b）水平方向相邻角点的距离测量误差；（c）垂直方向相邻角点的距离测量误差。（摄像机的拍摄角度为：θx=37.31°，θy=70.95°）

图11 棋盘格测试图像序列3的测量误差比较：（a）左图像和右图像；（b）水平方向相邻角点的距离测量误差；（c）垂直方向相邻角点的距离测量误差。（摄像机的拍摄角度为：θx=-38.21°，θy=5.63°）

5.2 目标尺寸测量精度测试

采用了一些经典的双目立体匹配算法来计算物体的视差图，包括SGM、CSCA、REAF、CSSR和SPIO方法。为了在传统双目测量方法的基础上测量物体的尺寸，根据角点对应的视差值计算出四种尺寸的长度。不同方法得到的物体尺寸测量结果见表2。

由表2可见，CSSR的测量结果精度最低，在SGM、CSCA、REAF、CSSR和SPIO的结果中也会出现异常值。TB方法对视差偏差敏感，虽然计算得到的视差值与实际值接近，但TB法的测量结果可能存在较大误差。MBC方法的绝对相对误差均小于3.5%，该方法结果没有异常值，说明该方法的鲁棒性。