机器人视觉控制概述

第一部分 视觉控制基本概念

一、机器人视觉基本概念

1.摄像机标定（Camera Calibration）

定义：求取摄像机内参数和外参数的过程。

内参数（Intrinsic Parameters）：摄像机的内部参数，包括参数矩阵（fx, fy, cx, cy）和畸变系数（三个径向畸变系数k1, k2, k3；两个切向畸变系数p1, p2）。 参数矩阵描述了摄像机焦距、图像中心点的像素坐标，而畸变系数则描述了摄像机透镜的畸变情况。

外参数（Extrinsic Parameters）：摄像机在三维空间中的位置和姿态，包括摄像机的位置和摄像机的朝向，表示为摄像机坐标系与参考坐标系之间的变换矩阵。

2.视觉系统标定

视觉系统标定是一个确定摄像机与机器人关系的过程，如手眼系统的标定。

3.手眼系统（Hand-Eye-System）

摄像机和机械手构成的机器人视觉系统，分为Eye-in-Hand（摄像机安装在机械手末端并随机械手运动）和Eye-to-Hand（摄像机不安装在机械手末端且不随机械手运动）。

4.视觉测量

根据摄像机获得的视觉信息对目标的位置和姿态进行测量。主要研究从二维图像信息到二维或三维笛卡尔空间信息的映射及视觉测量的组成，二维图像信息到二维笛卡尔空间信息的映射比较容易实现，且十分成熟，但是二维图像信息到三维笛卡尔空间信息的映射较难实现，这一问题又被称作（3D Restruction）。

5.视觉控制与视觉伺服（Visual Servoing）

视觉控制：根据摄像机获得视觉信息对机器人进行的控制。视觉信息包括对象的位置、姿态、颜色、形状和尺寸等。

视觉伺服：利用视觉信息对机器人进行的伺服控制。

视觉伺服是视觉控制的一种。视觉伺服更加专注于目标跟踪和位置控制，而视觉控制则更加广泛，包括了利用视觉信息进行各种控制任务的方法和技术。

6.平面视觉与立体视觉

平面视觉：只对目标在平面内的信息进行测量的视觉系统。

立体视觉：对目标在三维笛卡尔空间内的信息进行测量的视觉系统。

7.结构光视觉（Structured Light）

定义：利用特定的光源照射目标。

主要形式：点、线、网格、圆。

基本步骤：激光器投射->物体表面形成特征点->提取特征点，根据三角测量原理计算三维坐标

优点：简单，成本低，实时性好。

缺点：精度低，标定困难。

8.主动视觉与被动视觉

主动视觉：对目标主动照明或者主动改变相机参数的视觉系统，主动照明的视觉系统为结构光视觉系统，主动改变相机参数的视觉系统为变参数视觉系统。

被动视觉：自然测量，通俗地说就是相机直接拍摄，拍出什么就是什么。

二、机器人视觉控制的作用

视觉信息的优势是其他传感器无法比拟的，摄像头对于机器人的作用就相当于人眼对人的作用一样。机器人视觉对于增强机器人的环境感知能力，提高环境适应力和工作可靠性至关重要。

第二部分 视觉控制研究内容

一、摄像机标定

标靶：已知形状与尺寸的标定参照物。在标靶上具有一些位置已知的标定点，标定的空间坐标位置已知，采集标靶图像之后，通过图像处理，可以获得图像坐标。利用空间坐标和图像坐标，可以获得内参数和相机相对于标靶参考点的外参数。

自标定：在有些情况下，不允许在环境中放置标靶，于是自标定显得尤为重要。

二、视觉测量

视觉测量主要研究从二维图像信息到二维或三维笛卡尔空间信息的映射及视觉测量的组成。

二维图像信息到二维笛卡尔空间信息的映射：比较容易实现，且十分成熟。

二维图像信息到三维笛卡尔空间信息的映射：较难实现，这一问题又被称作（3D Restruction）。

三、视觉控制的结构与算法

在摄像机采集到图像之后，如何利用图像进行视觉控制，控制的结构和算法是什么？这是一个需要研究的地方。

第三部分 视觉系统分类

一、根据摄像机与机器人的相互位置分

Eye-in-Hand：摄像机安装在机械手末端并随机械手运动

Eye-to-Hand：摄像机不安装在机械手末端且不随机械手运动

二、根据摄像机数目分类

单目视觉系统：一台摄像机，内参数一般不需要标定。

双目视觉系统：两台摄像机的内外参数均需要标定。

多目视觉系统：多台摄像机。

三、是否自然测量

被动视觉：如双目视觉。

主动视觉：结构光主动视觉和变参数主动视觉。

四、控制模型

基于位置的视觉伺服：由目标的几何模型和摄像机的模型估计出目标相对于摄像机的位置和姿态，得到机器人末端的位姿和估计的目标位姿之间的差距，通过视觉控制器进行调节，需要进行三维重构。

基于图像的视觉伺服：在二维图像空间计算误差，将误差作为视觉控制器的输入信号，无需三维重构，但需要计算图像雅可比矩阵。

混合视觉伺服控制：基于位置和图像的混合视觉伺服，利用图像伺服控制一部分自由度，其他的自由度利用位置伺服控制，无需计算雅可比矩阵。

参考书籍：机器人视觉测量与控制（第2版） 徐德 谭民 李原 编著