qq_20660115的博客

实现机械臂和相机的手眼标定，就是要通过双目相机坐标系、机械臂坐标系和机械臂 末端执行器三者的坐标系转换，求出手眼转换矩阵。设双目相机坐标系为 Oc，标定板坐标 系为 Ow，末端执行器坐标系为 Oe，机械臂底座的坐标系为 Ob。其中，设标定板坐标系到 双目相机坐标系的转换关系为𝑻𝒘 𝒄 ，双目相机坐标系到机械臂底座的坐标系的转换关系为 X， 机械臂底座坐标系到机械臂末端执行器坐标系的转换关系为𝑻𝒃 𝒆，其中，本文中要求解的就 是双目相机相对机械臂底座坐标系的转换关系，也即眼在手外情况下的手眼转换矩阵。

利用 Matlab 的 2018 版本中的 toolbox_calib 模 块分别对 ZED 2i 双目立体相机的左右两个相机进行单独标定，然后利用两相机的相关参 数进行双目相机的立体标定求解总体参数，最后得到 ZED 2i 双目立体相机的内部参数和 外部参数。双目立体相机是由两个单目相机根据 特定的参数组合而成，工作时可将左右两相机捕捉到的二维图像信息转换到三维立体空间 中，进而通过系列转换变为所需要的三维空间坐标信息。在 ZED 2i 双目立体相机的有效工作距离内，选择合适的距离和位置将相机固定。

打开我司提供的demo源文件，找到ImageConvert.dll与SR7Link.dll文件并复制到新工程的debug目录下，若需要使用我司提供的3D显示功能，则将demo源文件下的所有.dll文件的库全部复制到新建工程Debug目录下。客户根据需求（控制器数量，控制器连接相机数量，数据回调模式）选择添加控件。给连接控制器，断开连接，打开一次回调，软触发一次四个控件添加代码。控制器图像刷新回调和运行信息回调添加代码，可根据需求自定义。以下演示demo为单控制器1拖，选择一次回调。

为了应对客户的多种需求，我们提供了多种模式可供选择，客户可根据自己的需求灵活使用。本司提供的例程包含的模式包括一次回调模式，阻塞模式，无限循环模式，2.5D模式。SsznCamControl类为基于通讯库SR7Link.dll封装的相机控制器类，定义了一些相机控制器的基本属性，图像数据刷新回调委托和控制器运行信息回调委托，以及控制器的操作、参数设置、数据与图像相互转换的方法函数。

鉴于不同技术方案都有其适用的场景，立体相机的选型讲究的原则为“先看用途，再看场景，终评精度”，合适的立体相机在方案中可以起到事半功倍的效果。从用途上来进行划分，三维视觉方案主要应用在两个方向：测量，定位。从场景上来划分主要为：动态（指物体在拍摄过程中始终处于运动状态，如平移、旋转），静态（指物体在拍摄过程中处于静止或者慢速平移运动）。依据这两个维度，选择合适的立体相机方案，最终依据测量精度和视野范围的要求选择合适的系统即可。

测量技术来看，其优点和缺点都很明显，没有单独一种技术可以适用于所有的三维测量场景，从实际应用来看，双目与结构光在人脸识别，拆码垛定位，静态尺寸测量等应用上最为广泛。激光三角法因其适用于高速动态场景的特点，在流水线场景下的三维测量独占鳌头。双目等类型的方案逐渐丰富，相互之间取长补短，适用的场景也不断增多。下图为四种测量方法之间的横向对比。如今随着三维测量技术的发展，四种方案也开始有相互融合的趋势，如结构光。其高鲁棒性的特点，主要应用于距离估计、视觉导航和动态识别。

测量法又被称作飞光时间测量法，是通过给目标连续发射激光脉冲，然后用传感器接收在被测平面上反射回来的光脉冲，通过计算光脉冲的飞行往返时间来计算得到确切的目标物距离。它由一个发射二极管、接收二极管、调制模块，解调模块、处理器几部分组成。调制模块负责调制发射的红外调制波，通过发射二极管将信号发射出去。系统比较区别在于，测量范围不是一个点，它是一个面，因此，接收模块变成了点阵的光敏传感器，通常使用的是。在传感器前面、和发射二极管前面多了光学镜片，一个是为了红外波的辐射范围、一个是为了滤除。

网格结构光测量也常常被称为面结构光测量，它首先需要用投影器件产生符合条件的网格状投射光，并投射到待测物表面，由于网格上的光条具有两个方向，因此该方法可以通过两个测量方向分析待测物表面的三维坐标信息，理论上更加精确。但是相比前几种结构光测量方法，该方法明显在结构上更加复杂，对相机的性能和后期的数字图像分析都有很大的考验。

多线结构光测量在测量方式上类似上述线结构光测量，但是两者也有着一些明显的差别。这种形式的结构光测量，也常常被成为面结构光测量。首先激光器发出电光源通过通过光栅的调制产生多个切片光束，这些切片光束照射到待测物体表面后形成多条光带。由线结构光测量的原理我们可知，这样一次测量所得的光条图案，就可以获得大量待测点的三维坐标信息。只是，这种测量方法对相机的景深要求特别高，并且会导致相机标定复杂化，提高了工作效率的同时，也很大程度上增加了工作量。

线结构光测量中，由激光器射出的激光光束透过柱面透镜扩束，再经过准直，产生一束片状光。这片光束像刀刃一样横切在待测物体表面，因此线结构光法又被成为光切法。线结构光测量常采用二维面阵CCD作为接受器件，因此只要通过增加垂直于面阵探测器的第三维度方向，就可以实现对三维物体的测量。

点结构光测量中，激光器射出的激光光源是点光源，该电光源投射到待测物体表面后形成光点，通过分析由光学探测器获得的光点图像信息，就可以获得被测物体在这一点上的三位信息。但是由于点结构光每次测量仅能获取待测物表面一个点的三维坐标，所获得的信息量太少，所以如需测量整个待测物体表面，所需的时间较长，极为不便。结构光测量基于激光三角法测量技术，按照光源的类型的不同，又分为点结构光、线结构光和面结构光三种。

结构光测量法是一种通过光学投射模块将具有编码信息的结构光投射到物体表面，在被测物表面上形成由被测物体表面形状调制的光条图像，再由图像采集系统采集被测物表面漫反射的光条图像，通过高精度算法处理后，得出被测物表面的三维轮廓数据，进而还原目标物体三维空间信息的方法。分类常规的编码方式有两种，分别是空域编码和时域编码，空域编码是将编码方案通过一幅图案表达的方法，物体表面每个点的灰度分布对应器编码值，空域编码解码复杂，易受外界环境影响，精度相对较低；

按照入射激光光束和被测物体表面法线的角度关系，一般分为直射式和斜射式两种方式。1）直射式测量如图所示，激光器发出的光线，经会聚透镜聚焦后垂直入射到被测物体表面上，物体移动或者其表面变化，导致入射点沿入射光轴的移动。入射点处的散射光经接收透镜入射到光电探测器（PSD或CCD）上，散射光经接收透镜汇聚后在PSD或CCD上成像，移动物体前后采集的两幅图像经过软件处理求出其间距，根据推导得出的公式可求得物体实际移动距离。2）斜射式测量。

激光三角法位移测量的原理是，用一束激光以某一角度聚焦在被测物体表面，然后从另一角度对物体表面上的激光光斑进行成像，物体表面激光照射点的位置高度不同，所接受散射或反射光线的角度也不同，用。激光三角测量法是一种通过图像采集系统采集被测物表面漫反射的激光轮廓，进而基于设备已知的相对位置通过算法处理，获得被测物表面的三维轮廓数据，进而还原目标物体三维空间信息的方法。采用激光三角原理和回波分析原理进行非接触位置、位移测量的精密传感器， 广泛应用于位置、位移 、厚度、半径、形状、振动、距离等几何量的工业测量。

双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。传统双目相机除图像采集系统外，无其它补光模块，属于被动式双目视觉，对于外界环境光线的强度和被测物表面纹理要求较高。在实际产品中，通常会增加补光模块，升级为主动式双目视觉，在增强被测物表面纹理的同时提升低照度环境下的性能，提升产品场景适应能力。亿公里的基线距离计算出恒星距离地球的位置（恒星的深度信息）

视觉方案易受照明条件影响，一致性和稳定性难以保证，且无法实现三维高精度测量和定位，视觉方案已经趋向成熟，应用局限性也已经显现出来。随着机器视觉在工业领域的应用逐渐深入，传统的。视觉通常需要专用的打光方案来提升特征对比度；机理、图像亮度等因素限制，较难实现高速扫描；视觉方案应运而生，解决了工业自动化场景中的。视觉无法彻底实现机器人自动化，必须依赖。视觉不依赖被测物表面颜色和对比度，而。视觉不需要高精度的工装治具辅助定位；视觉可以从复杂场景中准确提取目标物，视觉可以实现高速在线扫描，视觉成功率相对较低；