3D相机的9点标定

本文已参与「新人创作礼」活动，一起开启掘金创作之路。

9 点标定法

---

1 适用范围及情形

1.1      在机器人外固定安装的3D相机与机器人的手眼标定，X36相机等安装与固定支架上，不依赖与外部运动机构而自动获取3D图像的情形**

1.2      在机器人外部安装于运动机构上的3D相机与机器人的手眼标定，由电机带着相机运动来获取3D图像；

1.3      相机安装于机器人第6轴上，相机由机器人轨迹驱动从而获取3D图像，但是机器人只需要带动相机在固定位置/轨迹获取图像，或者不需机器人频繁变换取图位置(只有有限几个取图路径)，此时可以视作同情形1.2。

2 标定原理

(备注：我们此处多处以齐次坐标矩阵形式描述的坐标关系是为了便于理解而为之，也是大部分其他工具如机器人、图像处理软件等底层的运算方式，但在使用层使用较多的是位置坐标x,y,z结合欧拉角形式的姿态角a,b,c或Rx,Ry,Rz进行表达的，详请参阅相关资料加以理解，此处不再赘述)

以上所列举的使用情形均可归结为“眼在手外”的安装情形，即便是相机安装在机器人手臂上由机器人轨迹来驱动获取图像，但由于机器人轨迹较为固定，所以可以将其视作固定安装的直线运动单元，只是需要保证机器人的运动方向及安装姿态与相机自身的坐标系对齐。

 

\

针对该情形下相机与机器人的位置关系标定，则可采用9点标定法。所谓9点标定，实际上是9组点的对齐。该标定是将相机坐标系与机器人基座建立位置关联，得到相机坐标系到机器人基座的转换关系(即相机坐标系在机器人基座坐标系下的表达)。一般来说，我们需要选取9个前后、左右、上下位置各不相同的参考点(一般选取标定锥或者标有十字交叉点的纸板等)放置在相机视野范围内，使其尽可能覆盖将来相机在实际生产中的工作范围。然后使用机器人已知TCP的尖点触碰9点中的第1点，得到该点在机器人基座坐标系下的位置坐标，记作(Xr1,Yr1,Zr1); 接下来使用相机取图得到包含第1点的3D图像，在得到图像的强度图中通过鼠标指针获取对应的第1点在相机中的位置坐标，记作(Xc1,Yc1,Zc1)。依次对第2~9点做相同操作并分别记录下来。最终得到9个点分别在机器人基座坐标系下的位置坐标和对应点在相机坐标系下的位置坐标。

然后将上述记录的9组点通过Halcon算子或者EasyRanger软件工具等运算可得到相机到机器人基座的转换关系，记作 robotHcamera ，一般使用机器人可理解的方式表达为(x,y,z,Rx,Ry,Rz)或者(x,y,z,a,b,c)。

3 操作流程及使用

3.1      安装标定针及TCP示教

在机器人末端安装标定针(标定针可以是任意尖锐物体，并具有一定的长度)，使用4点法示教标定针的TCP，为了保证最终标定的系统精度，最好将标定针的TCP最大误差控制在0.5mm以内。

3.2      确定相机安装方式

a.     如果相机安装在外部支架或机构上，相机取图与机器人轨迹没有关系，则忽略此步；

b.    如果相机安装在机器人上，并且依靠机器人的固定直线轨迹方可进行取图，则应首先确保驱动相机取图的机器人轨迹应与相机自身坐标系的Y方向(垂直于相机激光的射出平面)平行，不可有上下、左右的倾斜及俯仰角，其平行程度直接影响最终的系统精度。然后示教并确定相机的取图轨迹。

3.3      !

可以选择圆锥作为标定物(需要圆锥拟合尖点坐标)，也可以自制标有十字交叉点的纸板标定物，如果操作得当，均不影响最终的标定精度，我们推荐较为低成本的十字交叉点纸板(下述使用)。

从如图所示相似的硬纸箱上取一块平整的纸板(该材质有较好的成像效果，如果手头没有类似纸板，可以选用A4纸并粘贴于硬平板上)，在纸板中心使用黑色中性笔划出两条约4~5cm的十字交叉线，无需介意线是否平直，形成的十字交叉点用于我们后续的标定过程。

3.4      标定

将纸板的十字交叉点朝向相机，并稳固放置于相机工作视野内(触发相机取图验证十字交叉点在相机获取的强度图中可见性)。

操作机器人使其标定针轻轻触碰纸板的十字交叉点，记录当前机器人的标定针TCP在机器人基座坐标系下的坐标位置，记作(Xr1,Yr1,Zr1)，然后移开机器人；

驱动/触发相机取图，将软件切换至强度图模式(或者使用SICK EasyRanger软件导入图像后切换至强度图模式)，将鼠标移至纸板的十字交叉点读取该点的坐标值，记作(Xc1,Yc1,Zc1)。

然后保持纸板的十字交叉点朝向相机，移动纸板至相机视野内的9个不同位置，使这9个位置能够覆盖生产中的相机实际有效工作范围，并且保证9个点的前后左右上下位置不同。依次重复上述测量，并得到点在机器人和相机坐标系下的坐标：

| 机器人坐标系下的坐标 | 相机坐标系下的坐标 | | ----------- | ----------- | | Xr1,Yr1,Zr1 | Xc1,Yc1,Zc1 | | Xr2,Yr2,Zr2 | Xc1,Yc1,Zc1 | | … | … | | Xr9,Yr9,Zr9 | Xc9,Yc9,Zc9 |

3.5      计算转换关系

通过以上所测得的数据，可以通过Halcon，Eigen数学库，SICK EasyRanger工具等进行计算得到相机到机器人基座的转换关系，可记作robotHcamera , 该转换关系以机器人可理解的方式表达为(x,y,z,Rx,Ry,Rz)或者(x,y,z,a,b,c)。

3.6      如何使用标定得到的转换关系

接下来在生产中使用相机取图，图像经过处理后可以得到目标物体在相机中的位姿，记作cameraHobject ，将姿态统一成欧拉角形式可记作(xo,yo,zo,a,b,c)。如果物体的姿态不是生产中所关注的，那么可以将其记作(xo,yo,zo,0,0,0)。

然后将标定所得到的转换关系与目标物体在相机中的位姿相乘(robotHcamera* cameraHobject)，即可得到目标物体在机器人基座坐标系下的位姿，即robotHobject , 当然最终仍需以机器人理解的方式表达为(x,y,z,rx,ry,rz)或(x,y,z,a,b,c)。该位姿即为最终机器人需要到达的目标点，从而进行抓取或其他作业。

以上所述二者相乘可以使用自行开发的程序进行，或使用第三方库(如Halcon，Eigen)进行，也可使用SICK EasyRanger进行。

4 总结

9点标定法操作相对简单，且容易理解，有较广的应用范围。针对前述的应用的场景，如操作得当，可以得到较高的系统精度。如果使用较为低精度的3D相机(比如TOF原理相机)，则很难通过图像准确观察到十字交叉点的位置，此时可以推荐使用圆锥作为标定物，使用相机获取的图像进行圆锥拟合得到锥尖坐标，机器人触碰锥尖得到另一组坐标，其他操作方式与纸板标定类同。