使用halcon做eye-in-hand型手眼标定的小笔记

背景

最近在做一个视觉检测的内容，需要通过视觉检测获取托盘上物件的中心坐标，并将坐标发送给机械臂，让机械臂去抓取该物件。在一个托盘上会有x个物件，且物体在摆放在一定的范围内是无序摆放的，由于条件限制以及精度要求，最终相机的视野为1.5倍物件的大小。
因此，我们采用相机安装在机械臂上，每次改变拍照位置的方式，属于eye-in-hand类型。第一次做标定，简单记录一下过程。

目录

1.标定思路
2.halcon代码

一、手眼标定思路

如图所示，我们相机与机械臂的关系属于eye-in-hand型。

1.1建立图像坐标与机器人坐标间的转换关系
因为检测的所有物体是在一个平面上的，所以我们只需对x，y坐标进行转换就可以了。这里使用常见的九点标定法就可以了。具体标定过程如下：
（1）在纸上画一个特征点（比如圆点），或找一个特征明显的标志物
（2）将带特征点的纸或标志物放在拍照处固定不动，机器人携带相机移动，拍照，重复九次
（3）记录特征点在图像中的坐标以及机器人在对应拍照位置的坐标
（4）使用halcon计算仿射矩阵的算子中就可以得到图像坐标与机器人坐标间的转换关系了

1.2创建一个模板位置，通过计算偏移量控制机器人移动距离
模板与真实物体在图像中的位置关系如图所示：

分别将模板的中心坐标(x0,y0)和真实物体在图像中的坐标(x1,y1)转换到机器人坐标系中，对应(X0,Y0),(X1,Y1)。
δX=X1-X0
δY=Y1-Y0

δX,δY即为当前机器人需要走的偏移量（在模板位对应抓取点上的偏移），这也不太会讲，就是说机械臂需在拍照位置上移动（拍照位到模板抓取位的偏移加上δX和δY）这些偏移量到达抓取点。

二.halcon代码

上面偏移量讲得好乱，交给自动化的工程师解决就好。图像这里用下面的几行代码，就可以得到仿射矩阵。

r:=[x0,x1,x2,x3,x4,x5,x6,x7,x8]
c:=[y0,y1,y2,y3,y4,y5,y6,y7,y8]
r1:=[X0,X1,X2,X3,X4,X5,X6,X7,X8]
c1:=[Y0,Y1,Y2,Y3,Y4,Y5,Y6,Y7,Y8]
vector_to_hom_mat2d (r, c, r1, c1, HomMat2D)
affine_trans_point_2d (HomMat2D, p, q, P, Q)

其中，x0,x1,x2,x3,x4,x5,x6,x7,x8为图像中特征点的横坐标；
y0,y1,y2,y3,y4,y5,y6,y7,y8为图像中特征点的纵坐标；
X0,X1,X2,X3,X4,X5,X6,X7,X8为机器人坐标系中特征点的横坐标；
Y0,Y1,Y2,Y3,Y4,Y5,Y6,Y7,Y8为机器人坐标系中特征点的纵坐标。
使用vector_to_hom_mat2d 算子可计算出仿射矩阵HomMat2D。
通过affine_trans_point_2d算子可计算图像中坐标(p,q)对应机器人坐标系中的坐标(P,Q)。