【VM服务管家】专题_7.2 VM应用案例

2.1.1 定位引导：常规定位引导项目入门必看

本文主要介绍如何使用VM实现常规的定位引导项目。下图为定位引导项目整体流程图。

1 场景描述
适用场景：单相机拍物料的抓取场景。
标定方式：工具中心与旋转中心(一般为法兰中心)共轴的定位引导场景，可采用九点标定,即单相机与机构做平移标定(9点标定)。工具中心与旋转中心不共轴，可采用十二点标定，如图所示为不共轴示意图。

限制条件：不支持多相机联立坐标系、相机拍照位姿变化等场景。
2 机构及成像质量调整
2.1 硬件安装要求
2.1.1 机构应安装稳固，不能产生松动。
2.1.2 调整相机应保持镜头平面与物料平面平行。
2.1.3 网线接口要安装稳固应采用海康网线。
2.1.4 电源线应采用高柔电缆。
2.1.5 镜头光圈先拧到底再反拧半圈，保证既有一定的景深同时保持较好的图像锐利度。
2.2 系统安装要求
2.2.1 Win系统要求：Win10 64bit。
2.2.2 处理器要求：I5以上CPU。
2.3 成像质量要求
1）调整相机焦距保证成像清晰（以图像边缘过渡带不超过两个像素为准）。
2）保证待检测物料特征处于图像正中心（图像边缘容易产生径向畸变）。
2.4 机构精度要求
2.4.1 静态测试：相机在拍照位与物料保持静止，连续拍照，保证图像特征点提取稳定在一个像素以内，特征点提取不稳定则需选取更为稳定的特征点。
2.4.2 动态测试
1）平移精度：物料保持不动，机械手分别沿X/Y正负方向等步长移动4次得到三组像素差，保证像素差在一个像素以内。每次移动后回到原位，查看平移复位精度（即回原位查看物料图像特征点坐标,必须保证在在一个像素以内）。
2）旋转精度：机械手分别沿正反方向旋转一定角度（与标定时的角度相当），查看图像特征角度是否等角度变化（一般需保证在0.1度以内），同时回原位查看复位精度（即回原位查看物料图像特征点坐标必须在一个像素以内）。
2.4.3 点位移动测试：使用VM通讯发送绝对坐标给机械手，确保机械手能移动到指定点位。
3 搭建定位引导视觉方案
3.1 搭建标定方案
首先搭建标定方案：搭建好标定流程（以触发获取为例），应包含图像特征点提取、通讯触发及协议解析（用于触发流程及解析机械手物理坐标）、平移旋转标定模块（参数设置及说明参考平移旋转标定参数说明）以及发送数据（通过通讯回复本次标定状态）。

3.1.1 图像源模块:可根据实际情况选择相机或本地图像。一般情况配合机械手实时采图需选择相机并进行相机配置。

3.1.2 高精度模板匹配：提取图像特征点，需保证在同一位置特征点定位精度保持在一个像素以内，同一位置模板匹配角度需稳定保持在0.1度以内。
3.1.3 平移旋转标定模块
1）平移旋转标定基本参数设置如图所示：平移次数默认九次；平移旋转标定需要设置旋转次数，一般设为3。

2）平移旋转标定参数表及详细介绍，请按实际情况填写对应参数。

平移旋转标定基本参数
标定类型	平移标定和平移旋转标定两种；平移标定对应的是旋转中心在工具中心的场景，平移旋转标定对应的是旋转中心和工具中心不共轴的场景（增加了旋转中心的标定）；两种标定类型分别对应的基本参数会有所不同
标定点获取	选择触发获取或手动输入，通常选择触发获取。当选择手动输入时支持“平移旋转标定”模块单独运行，即手动输入坐标点生成标定矩阵
相机模式	支持相机静止和相机运动两种模式
自由度	可根据具体需求选择，有缩放、旋转、纵横比、倾斜、平移及透射、缩放、旋转、纵横比、倾斜及平移和缩放、旋转及平移3种模式，三个参数分别对应“透视变换”、“仿射变换”和“相似性变换”
图像点	平移旋转标定的图像特征点，可订阅其他模块的点
物理点	机械臂的坐标点，VM图像上的一个图像点对应一个机械臂的物理点，可订阅通讯输入
图像角度	图像特征对应的角度，可订阅其他模块的角度，可通过相关计算得到旋转一致性（平移旋转标定时显示）
物理角度	当前位姿机械手的角度，一般从外部设备获取，可通过相关计算得到旋转一致性、左右手坐标系（平移旋转标定时显示）
平移次数	平移获取标定点的次数，只针对x/y方向的平移，一般设置成9点
旋转次数	旋转轴与图像中心不共轴时需设置旋转次数，一般设置成3次；且旋转是在第5个点的位置进行（平移旋转标定时显示）
组合标定	开启后支持平移后旋转并平移回视野的标定方式；针对小视野场景，机构在视野内只能小角度旋转导致旋转中心拟合不准，此时可以开启组合标定，控制机构旋转较大角度然后平移回视野的方式进行旋转中心标定（该方式对平移精度要求较高）
更新文件	一轮标定完成后，如果开启了更新文件控件，新一轮标定会将标定结果更新到标定文件中
标定文件路径	标定文件的绝对路径，该路径下若存在文件就加载，若不存在则加载失败，运行时报错
示教	示教使能，开启后，可根据相关设置辨别外部输入的信号是否为示教信号，并存储示教坐标
外部输入字符	示教开启后显示，可订阅外部设备的信号
外部触发字符	判断外部输入信号是否为示教信号的依据。当外部输入字符和外部触发字符一致时，则该信号为示教信号
标定输出结果
标定状态	1表示标定成功，0表示标定失败
平移估计真实误差	平移的真实误差值，供评判平移标定结果
旋转真实平均误差	旋转的真实误差，供评判旋转标定结果

3.2 创建通讯设备及全局触发
可在通信管理添加通信设备，全局触发建立触发事件，实现机械手通信触发视觉流程。

3.3 标定
3.3.1 机械臂带动相机按照参数设定的移动方向及步长移动，每次移动触发标定流程。九点标定移动九次，十二点标定需先按九点移动最后三点在第五点的基础上按参数设置的角度旋转三次。
3.3.2 标定结果查看（出现异常需重新标定）
1）标定轨迹：如图所示为标定轨迹，查看标定轨迹中的X轴和Y轴是否垂直，轨迹是否存在波动（X/Y三点是否共线）。

2）标定状态：标定状态1表示成功，0表示失败需从新标定。平移估计真实误差表示平移产生的平均物理误差。旋转真实平均误差表示旋转产生的平均物理误差。

3）像素精度：模块结果中可查看像素误差，平移像素精度表示平移产生的平均像素误差，一般要求保证在一个像素以内。旋转像素精度表示旋转产生的平均像素误差，一般保证在0.5像素以内。

4）旋转一致性：表示图像坐标系与机械手坐标系的旋转一致性，1表示旋转一致，-1表示旋转方向相反，需旋转机构查看旋转一致性是否判断准确，若判断错误需调整参数从新标定。

3.4 示教
示教（示教流程可以和生产流程共用，方案搭建示意如下图）：

示教动作如下
1)放置生产用的物料在工作台中。
2)调整机构位置，使得机构的吸嘴或夹爪可以很好地对准物料，记录此时机构的物理坐标（示教物理点）。
3)机构移动到拍照位置(示教拍照物理点)，拍摄物料，获得像素坐标。
创建基准（基于单点抓取模块，最终基准数据会保存在单点抓取模块底层）：

1. 填写示教抓取物理点，即示教时抓取物料的机械手物理坐标；
2. 填写/绑定基准图像像素点，即此时拍照位拍照获取的图像像素点。
3. 创建动作如下图所示，创建完成后可将像素点绑定为运行图像点，若采用同一分支下来的特征点则无需重新绑定。
   

3.5 生产
3.5.1 生产拍照位确认
1）生产拍照位坐标最好与标定第五点拍照位一致，可产生X/Y偏移，但拍照姿态（相机旋转角度）必须保持不变。
2）生产拍照位与标定时的工作距离必须保持不变。
3.5.2 生产方案搭建：生产流程同示教流程，生产时需保证提取的特征点与示教图像特征点一致。
3.5.3 单点抓取模块

1）输入方式:平移标定对应九点标定，平移旋转标定对应十二点标定。确定是按点输入还是按坐标输入，可以订阅模块也可以手动输入。
2）像素点： 在抓取场景中，需要输入两个像素点，分别