（论文速读）一种基于双目视觉的机器人螺纹装配预对准姿态估计方法

论文题目：A novel pose estimation method for robot threaded assembly pre-alignment based on binocular vision（一种基于双目视觉的机器人螺纹装配预对准姿态估计方法）

期刊：Robotics and Computer-Integrated Manufacturing （计算机科学1区Top ,if = 11.9）

摘要：螺纹装配在工业制造中起着至关重要的作用;然而，实现全自动螺纹装配仍然具有挑战性。本研究开发了一种基于双目视觉的机器人螺纹自动装配系统，并提出了一种新的空间圆位姿估计方法。值得注意的是，该方法从几何角度利用螺纹孔的倒角圆作为识别目标，无需任何先验知识即可实现精确的姿态估计。该方法仅利用螺纹孔圆形特征投射的椭圆弦，有效地解决了传统上对完整目标特征的依赖。此外，它避免了传统3D姿态估计中常用的点云拟合的需要，从而大大降低了计算复杂度，提高了效率和精度。提出了一种基于标定板坐标系的空间圆定位精度验证方法。该方法在x、y和z轴上的位置误差范围分别为[0.0419、0.0837]、[-0.0864、0.0148]和[-0.0434、0.0286]mm。为了综合考虑各种误差的来源，设计了一个工件进行机器人对中实验。沿x、y、z轴的平均误差分别为-0.23、-0.57、-0.45 mm。总体而言，所提出的视觉测量方法具有良好的姿态估计精度，显著提高了机器人螺纹装配过程的自动化程度。这一进展在工业制造环境中具有广泛应用的巨大潜力。

---

基于双目视觉的机器人螺纹装配预对准：一种新型姿态估计方法

引言

在工业制造领域，螺纹装配是一个至关重要但又极具挑战性的环节。传统的人工装配方式不仅效率低下，而且难以保证一致性。随着工业自动化的快速发展，如何实现螺纹装配的全自动化成为了一个备受关注的研究课题。

今天要介绍的这篇发表在《Robotics and Computer-Integrated Manufacturing》期刊上的论文，提出了一种基于双目视觉的新型空间圆姿态估计方法，为机器人自动螺纹装配提供了一个创新性的解决方案。

---

研究背景与问题

螺纹装配的挑战

螺纹装配虽然看似简单，但要实现全自动化却面临诸多挑战：

1. 数量庞大：工业产品中的螺纹连接件数量众多，人工操作极为繁琐
2. 精度要求高：螺纹配合公差有限，需要亚毫米级的定位精度
3. 装配失败风险：最常见的失败模式是"交叉螺纹"（Cross Threading），即内外螺纹未能正确啮合

现有技术的局限性

为了实现自动化螺纹装配，研究人员尝试了多种视觉引导方法，但每种方法都存在一定的局限性：

单目视觉方法的主要问题是姿态二义性——一个圆形特征在单个相机中的投影（椭圆）对应两个可能的空间姿态。虽然可以通过辅助结构或先验知识（如已知半径）来消除歧义，但这降低了系统的通用性。

基于极线约束的双目视觉方法需要在左右图像中匹配大量特征点，然后进行点云拟合。这种方法计算复杂度高，而且在工业环境中容易受到噪声和遮挡的影响，导致点云匹配不准确。

多相机系统虽然可以提高精度，但会增加系统成本、降低灵活性，并且标定过程更加复杂。

---

核心创新

这篇论文的核心创新在于提出了一种仅利用椭圆的一条特殊弦来估计空间圆姿态的方法。下面详细解析其技术原理。

创新点一：基于特殊弦的姿态估计

传统方法需要提取椭圆的完整边缘信息，而本文提出的方法只需要利用椭圆的最大顶角平面（LAA Plane）与椭圆的交线——即弦PQ。

核心原理：

• 当空间圆被透视投影到成像平面时，会形成一个椭圆
• 圆心与相机光心连线所在的平面（称为LAA平面）与椭圆相交形成一条弦
• 这条弦的方向向量在相机坐标系中可以通过简单的几何变换获得
• 通过左右相机分别获取这条弦的方向向量，然后利用向量叉积即可计算出空间圆的法向量

数学表达如下：

→n = →n_l = →n_r = →u'_nl × →u'_nr

其中 →u'_nl 和 →u'_nr 分别是左右相机坐标系中弦的单位方向向量。

创新点二：利用消失线确定圆心位置

确定了法向量后，还需要计算圆心的三维坐标。论文巧妙地利用了**消失线（Vanishing Line）**的几何性质：

• 空间圆所在平面的消失线仅由平面的方向决定，与平面位置无关
• 通过消失线与椭圆系数矩阵的关系，可以计算出圆心在左右图像中的投影点
• 最后利用双目视觉的三角测量原理恢复圆心的三维坐标

创新点三：无需先验知识的完整解决方案

与传统方法不同，本文提出的方法：

• 不需要知道圆的半径
• 不需要外部标记或辅助结构
• 自动消除姿态二义性

这使得该方法具有更强的通用性和适应性。

---

系统架构

论文设计了一个完整的双目视觉引导机器人螺纹装配系统，主要包含以下组件：

硬件系统

1. 工业机器人：ABB 6自由度机器人，作为运动执行机构
2. 双目视觉系统：两个LUSTER工业相机（5120×5120像素，10G以太网接口）
3. 电动螺丝刀：作为末端执行器，完成螺纹紧固
4. 环形跑道光源：提供均匀照明，减少环境光干扰

坐标系统

系统涉及多个坐标系之间的变换：

• {B}：机器人基座坐标系
• {E}：机器人末端法兰坐标系
• {T}：工具坐标系
• {C}：左相机坐标系
• {S}：螺纹坐标系
• {H}：螺纹孔坐标系

软件系统

• 采用Python编程，基于NumPy和OpenCV库
• 设计了基于Qt的可视化操作界面
• 包含相机参数设置、实时监控、特征识别、命令和数据输出等模块

---

算法流程

整个姿态估计算法的流程如下：

第一步：椭圆检测

采用**AAMED（Arc Adjacency Matrix-based Ellipse Detection）**算法进行椭圆检测，该算法具有以下优点：

• 基于弧段邻接矩阵高效搜索椭圆候选
• 使用验证评分有效消除假椭圆

为了提取目标椭圆（螺纹孔的倒角圆），设置了以下约束条件：

• 验证评分阈值 ≥ 0.85
• 长短轴比 ≤ 2
• 椭圆面积占图像面积的比例在0.1-0.25之间

第二步：建立新坐标系

对于检测到的椭圆，根据其长轴端点建立新的坐标系 G-uvw：

• w轴：椭圆长轴端点连线方向向量的角平分线方向
• v轴：椭圆长轴端点方向向量的叉积方向
• u轴：w × v

第三步：计算法向量

分别在左右相机中计算弦PQ的单位方向向量，然后通过坐标变换将其转换到统一的坐标系（左相机坐标系），最后通过叉积得到空间圆的法向量。

第四步：计算圆心坐标

1. 根据法向量计算空间圆平面的消失线
2. 利用消失线与椭圆系数矩阵的关系计算圆心在左右图像中的投影
3. 基于双目视觉三角测量原理恢复圆心的三维坐标

---

实验验证

实验一：基于标定板的精度验证

论文设计了一个特殊的标定板，在棋盘格图案上加工了一个半径为10mm的圆形目标，用于验证算法精度。

实验结果：

指标	数值
X轴位置误差范围	[0.0419, 0.0837] mm
Y轴位置误差范围	[-0.0864, 0.0148] mm
Z轴位置误差范围	[-0.0434, 0.0286] mm
位置平均误差	(0.0625, -0.0200, 0.0081) mm
姿态误差范围	0.649° - 1.752°
姿态平均误差	1.279°

实验二：与传统方法对比

将本文方法与基于极线约束的点云匹配方法进行对比：

指标	本文方法	传统方法	改进幅度
X轴位置MAE	0.0625 mm	0.0793 mm	21.19%
Y轴位置MAE	0.0241 mm	0.0750 mm	67.87%
Z轴位置MAE	0.0237 mm	0.1514 mm	84.35%
姿态MAE	1.279°	1.921°	33.42%

实验三：抗光照干扰测试

在100-1000 lux不同照明条件下测试系统的鲁棒性：

• X、Y、Z轴误差标准差分别为：0.0020 mm、0.0044 mm、0.0050 mm
• 法向量角度误差标准差：0.059°

结果表明，前置光源能有效抵消环境光的影响。

实验四：实际机器人对准实验

设计了带有尖端的特殊工件，通过TCP标定方法获取螺纹孔的真实位置，然后与视觉测量结果对比：

轴向	平均误差	标准差
X	-0.23 mm	0.29 mm
Y	-0.57 mm	0.24 mm
Z	-0.45 mm	0.25 mm

计算效率

指标	平均值
处理时间	0.193秒
GPU利用率	9.21%
内存占用	690.88 MB

---

螺纹装配的允许偏差分析

论文还对螺纹装配的允许偏差进行了理论分析：

角度偏差：

• 交叉螺纹角 φ_c ≈ ½ arctan(p/d)
• 对于M8×30螺纹，φ_c ≈ 4.44°
• 只要对准角度 φ < φ_c，装配即可正常进行

位置偏差：

• 考虑45°倒角的配合，允许的位置偏差 δ = H + s + t
• 对于M8×30螺纹，δ ≈ 2.58 mm

实验结果表明，视觉测量精度完全满足螺纹装配的要求。

---

技术亮点总结

1. 计算效率高：仅需要一条弦的信息，避免了点云匹配和拟合的计算开销

2. 精度高：位置误差在0.1mm以内，姿态误差在2°以内

3. 鲁棒性强：对光照变化具有良好的抗干扰能力

4. 通用性好：不需要先验知识，可适用于不同尺寸的圆形特征

5. 实用性强：已在实际机器人系统上验证，误差满足螺纹装配要求

---

应用前景

这项研究成果具有广阔的应用前景：

1. 螺纹装配自动化：直接应用于各类产品的螺纹紧固工序

2. 标定系统：圆形特征可用于高精度视觉系统标定

3. 工具更换：可用于机器人末端法兰的识别和定位，实现自动换刀

4. 扩展应用：可推广到其他具有圆形特征的工件检测和定位

---

未来改进方向

论文作者也指出了一些可能的改进方向：

1. 相机标定改进：引入基于相移条纹的标定方法，获得更密集、更稳定的特征点

2. 机器人标定优化：采用激光跟踪仪等高精度测量设备，提高机器人的绝对定位精度

3. 误差分析与补偿：建立更完善的误差分析和补偿方法，减少累积误差

---

结语

这篇论文提出了一种创新的基于双目视觉的空间圆姿态估计方法，在保证高精度的同时显著降低了计算复杂度。该方法不需要任何先验知识，具有很强的通用性和实用性。实验结果表明，该方法完全满足机器人自动螺纹装配的精度要求，为工业自动化提供了一种可行的技术方案。

对于从事机器视觉、工业机器人或自动化装配研究的工程师和研究人员来说，这篇论文提供了很有价值的参考。特别是其中利用几何约束简化问题的思路，以及通过消失线确定圆心位置的方法，都是值得借鉴的技术创新。