Halcon标定系列（1）：实现机械手手眼标定项目介绍、9点标定

利白

已于 2022-08-08 10:43:41 修改

阅读量2.6w

点赞数 43

分类专栏： Halcon 文章标签：标定九点 9点

于 2019-12-30 22:49:24 首次发布

原文链接：https://mp.weixin.qq.com/s/3BMG3ygIsZeX8o2YUgZVyQ

版权

Halcon 专栏收录该内容

112 篇文章

订阅专栏

原创：姚小四请关注公众号：手把手学习Halcon机器视觉

最近一段时间由于工作的忙碌，导致没有更新文章，在此非常抱歉默默支持小编的兄弟们！！下面，我将围绕机械手手眼标定和9点标定进行讲解，首先，机械手的标定分为两种，分别是手眼标定和9点标定，同时手眼标定中又分为固定相机标定和移动相机标定。

***9点标定：相机拍照获取9点（其实3点就行，但是点越多就越精确）的像素坐标，同时机械手末端去分别走这些点，获得机械坐标，两者结合成一个变换矩阵。其次是用户开始寻找自己感兴趣的区域，利用预处理、特征选择等手法处理，获得物体区域的坐标，和变换矩阵求出相对于机械手的位移量。如下所示:

在这里面，我们要重点把握该算子vector_to_hom_mat2d（），在采用其之前，需要进行排序，如果不进行排序，可能造成的结果是机械手出现碰撞可能。

其次，对感兴趣物体进行手法处理，本次我要处理的物体如下图中的圆垫片：

如上图中，机械手末端红色棍子所指向的垫片，由于是为了给兄弟们演示，装备比较简陋，最好能够采用精密的指针，这里如果是项目，对应的则是夹具。处理过程，如下：

在这里面，我们要掌握图像的处理过程，常用的是预处理，特征选择等，同时掌握affine_trans_point_2d（）算子，求出Qx，Qy，这是物体相对于机械手的偏移量，我们通过串口通讯、网口通讯等方式将Qx，Qy发送到我们的机械手，机械手则会运动到该处。本次求出的Qx,Qy结果和实际验证如下：

通过通讯发送数据到机械手后，机械手运动完成后，示教器显示的位姿值如下，因为是XY面，所以只用看xy姿态。

本次所采用的是网口通讯，页面如下：

总结：

上述的9点标定项目，存在误差，因为我机械手的末端在走点的时候，并没有能够实现精确。

一、9点标定，只能用于空间上的平面，如xy面，xz面，yz面。

二、9点标定的时候，建议机械手末端采用相机去识别走点，或者采用激光，这样实现的效果精度会更佳。

三、相机拍照得出的点，为像素坐标；机械手末端去走对应的点，得到的是机械坐标，两者共同得出对应变换矩阵。

四、注意排序，否则结果会出现很大的误差，甚至会导致机械手出现碰撞危险的可能。

五、得到对象的变换矩阵之后，下一步就是求取用户感兴趣的区域。

处理方式：

1：采集图像

2：预处理

3：特征选择

4：求取物体的行列坐标

5：通过affine_trans_point_2d（）算子，根据矩阵和行列坐标得到基于机械手的偏移量

6：通过网口通讯、串口通讯等方式将求到偏移量发送给机械手，这时机械手就会运动过去。

六、拓展

预处理中常见的有均值滤波、中值滤波、高斯滤波、灰度变换等

特征选择中，可以选择方向为：灰度值、区域、XLD轮廓

七、本项目的说明：

验证1：查看程序中求到的Qx，Qy，通过串口或者网口等发送给机械手，发送过去之后，得到的的结果请查看验证1结果；

验证2：同理。

下一种方法是手眼标定，这种就不局限于平面，可以实现空间域。由于文章字数限制，在这里我就不详细说了，需要详细介绍的可以私聊！同样是很详细的讲解，对于想了解机器视觉/机械手视觉的朋友们有很大的帮助！

手眼标定的部分截图如下：

如果想了解，可以进行沟通，将结合实战图像进行学习，效果更佳，进步更大！

这里面，项目文件同时据介绍了网口通讯的相关资料！

-------------------------------------------------------------------------------------------------------------

一.机械手类型

关节机器人:3个关节，6个自由度，即3个旋转3个平移；

SCARA机器人:包括沿X,Y,Z方向的平移和绕U轴旋转的4个自由度,它有3个旋转关节，最适用于平面定位;

二．手眼标定方式

1.固定相机拍照

手眼标定做什么：

1.1【已知条件】摄像机坐标系下校正对象的位姿;可以通过校正图像获取；

1.2【已知条件】机器人坐标系下机器人工具的位姿;

1.3【未知条件】获取工业摄像机坐标系下为机器人坐标系的位姿;

1.4【未知条件】获取机器人工具坐标系下校正对象坐标系的位姿；

求出未知条件，再加已知条件，从而获取机器人坐标系下校正对象的位姿；要抓取一个物体，机器人坐标中的夹具位姿必须与机器人坐标中物体的位姿相同；

2.移动相机拍照

手眼标定做什么：

1.1【已知条件】摄像机坐标系下校正对象的位姿;可以通过校正图像获取；

1.2【已知条件】机器人坐标系下机器人工具的位姿;

1.3【未知条件】获取工业摄像机坐标系下机器人工具坐标系的位姿;

1.4【未知条件】获取机器人坐标系下校正对象坐标系的位姿；

有夹具和没有夹具区别：

--------------------------------------------------------------------------------------

完整的9点标定源码：

*   9点标定的详细介绍，首先先采集一个带“点”图像，获取这些点的像素坐标，点越多就越精确
*   获取点的坐标用就预处理、特征选择进行分割、排序
*   机械手末端移动，分别对应各点，记录各点所对应的示教器的值rot
*   机械手的值分别和对应的像素坐标形成矩阵，这个矩阵可以保存

*   第1步      采集图像分割点后排序
*关闭窗口，打开窗口
dev_close_window ()
dev_open_window (0, 0, 512, 512, 'black', WindowHandle)
*采集图像
read_image (Image, 'C:/Users/yaofeng/Desktop/Halcon实现9点标定讲解/初始拍照标定板.jpg')
*预处理（二值化）
threshold (Image, Regions, 0, 26)
*断开连通域
connection (Regions, ConnectedRegions)
*特征选择
select_shape (ConnectedRegions, SelectedRegions, ['area','column','row'], 'and', [0,524.12,695.41], [78849.7,1173.47,1095.41])
*排序
sort_region (SelectedRegions, SortedRegions, 'character', 'true', 'row')
dev_set_color ('red')
dev_display (Image)
dev_display (SortedRegions)
*求到对应的各点的像素坐标
area_center (SortedRegions, Area, Row, Column)
*从示教器上面去读取对应的位姿值
rot_x:=[1147.79,1147.10,1146.49,1122.49,1122.49,1121.79,1098.27,1096.99,1095.65]
rot_y:=[-51.41,-76.88,-103.66,-50.25,-77.01,-101.17,-50.04,-76.16,-101.61]
*像素坐标和姿态构成矩阵
vector_to_hom_mat2d (Row, Column, rot_x, rot_y,HomMat2D)
write_tuple (HomMat2D, 'C:/Users/yaofeng/Desktop/Halcon实现9点标定讲解/HomMat2D')
*    第2步       获取感兴趣物体的坐标，与矩阵构成偏移量

dev_clear_window ()
dev_set_colored (12)
*验证 1
*采集图像
read_image (Image1, 'C:/Users/yaofeng/Desktop/Halcon实现9点标定讲解/验证图像1.jpg')
*二值化
threshold (Image1, Regions1, 0, 22)
*断开连通域
connection (Regions1, ConnectedRegions1)
*验证的点为右下角的的一个点
select_shape (ConnectedRegions1, SelectedRegions1, ['area','row','column'], 'and', [0,1436.7,830.28], [527523,1568.81,1050.46])
dev_display (Image1)
dev_display (SelectedRegions1)
*求物体坐标的行列坐标
area_center (SelectedRegions1, Area1, Row1, Column1)
*通过刚才的矩阵和物体行列坐标，求得这个Qx,Qy偏移量，然后发送给机械手
affine_trans_point_2d (HomMat2D, Row1,Column1, Qx, Qy)

*验证2
dev_clear_window ()
*验证 1
*采集图像
read_image (Image2, 'C:/Users/yaofeng/Desktop/Halcon实现9点标定讲解/验证图像2.jpg')
*二值化
threshold (Image2, Regions2, 0, 26)
*断开连通域
connection (Regions2, ConnectedRegions2)
*特征选择进行分割
select_shape (ConnectedRegions2, SelectedRegions2, ['area','row','column'], 'and', [0,873.84,756.88], [97402.6,962.89,903.67])
*这里不知道为啥，来出现个误差，就是出现两个点，所以我把其联合了
union1 (SelectedRegions2, RegionUnion)
*填充
fill_up (RegionUnion, RegionFillUp)
dev_display (Image2)
dev_display (RegionFillUp)
*求行列坐标
area_center (RegionFillUp, Area2, Row2, Column2)
**通过刚才的矩阵和物体行列坐标，求得这个Qx1,Qy1偏移量，然后发送给机械手
affine_trans_point_2d (HomMat2D,  Row2,Column2, Qx1, Qy1)

---

尊重作者版权，原创：姚小四请关注公众号：手把手学习Halcon机器视觉