【VisionMaster 行业应用案例】第二讲 多相机定位引导应用

1. 场景介绍

3C、面板、汽车、新能源等行业的视觉定位应用中，经常会遇到大物料定位引导场景。视觉系统计算物料位姿的变化量，发送给机械手引导抓取或纠正物料。但是受实际场景限制，例如相机架设高度有限，此时单个相机不能拍全物料，为了更精准地定位，必须采用多相机拍物料的方式实现定位引导。

物料信息： 长×宽×高 800mm×600mm×10mm
场景解析： 可采用双相机拍摄大物料对角并求中点的方式实现单点抓取或纠偏。
项目难点： 如何统一坐标系，如何计算定位偏差量。

2. 方案设计

机构设计如下图所示，使用两个相机固定拍摄物料对角。

2.1 方案一

2.1.1 标定方案（主相机和机构12点+两次标定板标定）

1.两个静止相机进行标定板标定： 两个相机分别进行标定板标定，将两个图像坐标系统一到标定板坐标系。
2. 统一到物理坐标系：N点标定主相机和机构进行N点标定
• 主相机和机构进行N点标定将图像坐标系映射到机构坐标系方便求偏差。
• 机构抓取标准件到合适位置，使主相机拍到标准件，以标准件的稳定特征点做主相机的十二点标定。

2.1.2 偏差计算方案

1. 主辅相机分别拍摄面板对角： 提取对角稳定的特征点（定位工具）；
2. 将两特征点统一到一个坐标系： 转换到标定板坐标系并求中点坐标(标定转化，点点测量)；
3. 中点坐标转换机构坐标系： 中点坐标转换到主相机坐标系下，然后再用主相机和N点标定的标定矩阵转换到机构物理坐标系(标定转化)；
4. 偏差计算： 实际偏差计算模型是一个常规的单点抓取模型(单点抓取)。

2.2 方案二

2.2.1 标定方案（标定板和机构12点+两次标定板标定）

1. 两个静止相机进行标定板标定：两个相机分别进行标定板标定，将两个图像坐标系统一到标定板坐标系。
2. 机构和标定板坐标系进行N点标定
• 机构和标定板坐标系进行N点标定将图像坐标系映射到机构坐标系方便求偏差。
• 机构抓取标准件到合适位置，使主辅相机同时拍到标准件，以标准件在标定板坐标系的中点为特征点和机构做十二点标定。

2.2.2 偏差计算方案

1. 主辅相机分别拍摄面板对角：提取对角稳定的特征点（定位工具）；
2. 将两特征点统一到一个坐标系：转换到标定板坐标系并求中点坐标(标定转换，点点测量)；
3. 中点坐标转换机构坐标系：中点坐标用标定板和机构N点标定的标定矩阵转换到机构物理坐标系(标定转换)；
4. 偏差计算：实际偏差计算模型是一个常规的单点抓取模型(单点抓取)。

2.3 方案三

2.3.1 标定方案（双十二点标定）

1. 机构同时和两个相机进行十二点标定(无标定板可采用)
• 机构和两相机坐标系进行N点标定将两图像坐标系映射到机构坐标系方便求偏差（将两相机统一到机构坐标系）。
• 机构抓取标准件到合适位置，使主辅相机同时拍到标准件，以标准件在各自相机视野内的角点作为特征点和机构做十二点标定。
注意事项: 十二点标定的标定矩阵是将物理坐标系原点平移到旋转中心上，所以两相机在做十二点时，拍照第五点(旋转中心)需要在同一个位置(推荐机构携带物料两相机同时做十二点标定)；当然也可以分别做十二点，但是需要注意标定矩阵旋转归一化的问题。

2.3.2 偏差计算方案

1. 主辅相机分别拍摄面板对角： 提取对角稳定的特征点（定位工具）；
2. 将两特征点统一到一个坐标系： 辅助相机的坐标转换到主相机图像坐标系下并求中点坐标(标定转换，点点测量)；
3. 中点坐标转换机构坐标系： 中点坐标再用主相机和机构N点标定的标定矩阵转换到机构物理坐标系(标定转换)；
4. 偏差计算： 实际偏差计算模型是一个常规的单点抓取模型(单点抓取)。

3. 方案搭建（方案一）

3.1 标定流程

3.1.1 上下相机分别做标定板标定

1. 标定板标定目的： 两个相机分别做标定板标定，将两个图像坐标系映射到同一个标定板坐标系下。

2. 标定板选择： 标定板标定模块支持棋盘格标定板、圆标定板以及海康Ⅰ/Ⅱ型标定板（可以使用VM提供的海康标定板工具生成对应大小的海康标定板，然后打印获取），生成标定板的大小应能同时覆盖两个相机视野。

3. 具体操作方法： 放置标定板于两个相机视野内，保证两个相机都能拍摄到部分标定板；海康Ⅰ/Ⅱ型标定板每个棋盘格顶点的坐标都有记录，所以直接进行标定板标定即可，其它类型标定板需要进行坐标偏移，将两个相机的在标定板坐标系的原点移动到一起。

3.1.2 N点标定

主相机与机构做N点标定

1. N点标定目的： 获取主相机图像坐标系与机构物理坐标系的转换矩阵，便于将目标转换到物理坐标系求其物理偏移量。下图为VM流程示意。

2. 标定物料选择： 可以选择标准件进行标定，保证物料特征点能稳定提取，提取精度高。

3. 具体操作方法： 本场景属于相机静止场景，可以采用机构携带标准件来移动旋转的方式采集成对的图像点和物理点，或者采用机构吸放物料的方式来进行图像特征点与机构物理点的采集。标定过程走九组平移点位，然后回到第五点进行三次旋转，最终生成标定矩阵。

3.2 偏差计算流程

3.2.1 单点抓取

方案一：
第一步：提取面板物料两个对角角点，这里采用模板匹配进行粗定位，然后使用边缘交点进行精定位；
第二步：统一坐标系，将两个相机提取的图像角点经过标定转换映射到同一个标定板坐标系；
第三步：获取点位和角度，使用点点测量模块计算两点的中点及连线的角度；
第四步：保存基准位，移动物料至基准位置，提取中点坐标、基准角度及示教物理坐标；保存单点抓取模块；
第五步：计算偏差并输出，移动物料运行流程，单点抓取模块输出的物理值就是此时的抓取坐标，通过通信发送给机械手引导机械手实现抓取。

3.2.2 单点纠偏

纠偏要求： 运行流程，计算偏差并输出，单点纠偏模块输出的物理值就是此时的纠偏坐标，通过通信发送给机械手引导机械手实现物料的姿态修正操作。

4. 总结

1. 方案制定： 针对大物料场景，可以选择两个相机拍摄对角求中点实现单点抓取，也可以增加相机数量来降低扰动，例如可以采用四个相机拍摄四个角，最后求中点实现单点抓取/纠偏；VM常规定位的思路是统一坐标系，然后点对点计算偏差（需要找到稳定的特征点）。
2. 标定板标定： 会使用海康标定板生成工具，其它标定板需要注意进行相机的坐标偏移，将不同图像坐标系在标定板坐标系上的坐标零点移动到同一个位置。
3. 坐标系统一： 将不同的图像坐标系、标定板坐标系都统一到机构坐标系中计算偏差，需要注意标定转换模块的坐标类型选择。
4. 偏差计算： 可以使用运算工具箱中的单点抓取、纠偏以及单点映射对位模块计算偏差，也可以自己使用脚本计算偏差；共轴场景统一完坐标系可以直接做差，不共轴场景可以引入旋转公式计算偏差，平移旋转标定的旋转中心就是标定转换后的原点。
5. 数据发送： 通过格式化模块将对应的数据先进行收集，然后使用发送数据模块将坐标发送给机械手引导机构移动。