工业现场相机坐标系和机械手坐标系的标定(2)-相机和机械手绑定的情况

        之前，我写过一篇标定文章，但是只说明了相机和机械手分离的情况的标定方法，为了提供完整的标定方案，这边介绍一下怎么利用我做的标定助手完成相机和机械手绑定的情况的标定方法。

        由文章“工业现场相机坐标系和机械手坐标系的标定(1)-相机和机械手分离的情况”我们知道只要找到两组对应点即可完成相机坐标系和机械手坐标系的关系转换。那么，现在相机跟随着机械手运动（它们绑定在一起了），如果还将标定靶标也固定在机械手上的话，三个对象都相对运动，就无法标定了！那要怎么利用标定助手完成标定呢？经过思考，我给出了以下标定思路：

整个标定系统的初始状态

        相机和机械手绑定在一起并且机械手旋转中心处于机械原点，这时候相机中心和机械手中心有一个相对的偏移并且是固定的（相机中心和机械手旋转中心的相对距离设为(detX,detY)），将标定靶标放置在工作区域（实际机械手的工作区域）中的合适位置。

第一步：求取第一组图像点坐标C1

        移动机械手（相机会跟着移动）到相机能够清晰拍摄到标定靶标的位置（设该位置的机械坐标为(x0,y0)）。然后调整标定靶标的识别参数，使得能够实时的识别标定靶标的中心位置，手动移动靶标最好让它远离图像中心，越远越好（精度越高）但是不能超出相机的视野范围，我就把靶标放在相机视野的左上角的区域吧，然后我们识别当前靶标的图像位置C1，就是第一组数据的图像点。

第二步：求取第一组机械点坐标M1

        进入“标定”选项卡，勾选“显示十字标”，这时候会在实时图像中间显示一个蓝色的十字光标，然后，慢速移动机械手，直到C1点和十字光标的交点重合（也就是说移动机械手让实时识别到的靶标中心坐标处于图像的中心，比如采集的图像为2048*1536大小的，你需要缓慢移动机械手（靶标保持不动）直到靶标的中心处于(1024,768)的这个位置），然后记下当前的机械手坐标也就是第一组数据的机械点M1（注意：此时实际是让相机中心和靶标中心重合，并非机械手旋转中心和靶标中心重合，它们之间差了一个detX，detY的距离，具体怎么换算，等下再说）。

第三步：求取第二组图像点坐标C2

        将机械手移动回到初始的工作坐标点(x0,y0)，将靶标放在相机视野的右下角的区域，识别当前的靶标图像坐标C2，就是第二组数据的图像点。

第四步：求取第二组机械点坐标M2

        同理，慢速移动机械手，直到C2点和十字光标的交点重合（就是移动机械手让实时识别到的靶标中心坐标处于图像的中心），然后记下当前的机械手坐标也就是第二组数据的机械点M2。

第五步：求取整个机械手工作区域坐标系和相机坐标系的对应关系

        不知道你有没有发现，上面求得工作区域只对工作区域(x0,y0)开始到相机视野结束的位置有效（比如你在机械手移动到工作区域(x0,y0)为起点的位置识别靶标的图像位置坐标为(100,100)，但是你将机械手移动到工作区域(x1,y1)为起点的位置识别靶标的图像位置坐标也可能为(100,100)）。这样换算过来的机械坐标就是错误的，其实我们上面求得是小区域的转换关系，那我们要怎么扩展到整个机械手的工作区域呢？我们只需要这样做：在机械手工作的时候是可以知道自己在哪里的，比如：现在机械手移动到工作区域(x1,y1)为起点的位置识别靶标的图像位置坐标为(100,100)，我们将(100,100)代入转换关系trans得出来的机械坐标是对应(x0,y0)的，要转换到对应(x1,y1)的只需要将换算处理的坐标加上(x1 - x0,y1 - y0)即可！抽象的公式如下：

current_machine.x = trans(current_image.x,current_image.y) + (x1 - x0);
current_machine.y = trans(current_image.x,current_image.y) + (y1 - y0);

其中trans函数就是将图像坐标转换为相对于(x0,y0)工作区域的机械坐标，再加上坐标(x1 - x0,y1 - y0)就是当前正确的机械坐标。到此，我们得到了图像坐标和整个机械手工作区域的坐标的关系，但是此时的机械坐标指的是相机的中心，并不是机械手的旋转中心。

第六步：将相机中心转换为机械手的旋转中心

        首先，你可以利用目测法，游标卡尺法等等粗略的算出detX，detY的值，然后，进行实时识别和移动测试进行细调，因为粗略的估算有误差，你可以经过多次微调直到精确到机械手的旋转中心移动到产品的上方就成功了。记下此时的detX，detY，代入以下公式就可以算出了最终的机械手应该去的地方了。最终的换算公式如下：

current_machine.x = trans(current_image.x,current_image.y) + (x1 - x0) + detX;
current_machine.y = trans(current_image.x,current_image.y) + (y1 - y0) + detY;

        整个过程的伪代码运算过程如下：

[a,b,c,d] = f([C1，M1],[C2,M2])
trans(double xImage,double yImage){
	double xMachine = xImage * a - yImage * b + c;
	double yMachine = xImage * b + yImage * a + d;
	return xMachine,yMachine;
}
current_machine.x = trans(current_image.x,current_image.y) + (x1 - x0) + detX;
current_machine.y = trans(current_image.x,current_image.y) + (y1 - y0) + detY;

        利用标定助手求取[a,b,c,d]外参矩阵的输入参数[C1，M1]和[C2,M2]的操作方法如下图所示：

        可能说的比较抽象，请见谅，后期有时间画几张过度图解释！