机器人视觉伺服技术发展概况综述

视觉伺服的定义：

人类对于外部的信息获取大部分是通过眼睛获得的，千百年来人类一直梦想着能够制造出智能机器，这种智能机器首先具有人眼的功能，可以对外部世界进行认识和理解。人脑中有很多组织参与了视觉信息的处理，因而能够轻易的处理许多视觉问题，可是视觉认知作为一个过程，人类却知道的很少，从而造成了对智能机器的梦想一直难以实现。随着照相机技术的发展和计算机技术的出现，具有视觉功能的智能机器开始被人类制造出来，逐步形成了机器视觉学科和产业。所谓机器视觉，美国制造工程师协会(sme society of manufacturing engineers)机器视觉分会和美国机器人工业协会(ria robotic industries association) 的自动化视觉分会给出的定义是：

“机器视觉是通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，以获得所需信息或用于控制机器人运动的装置。”

机器视觉作为与人眼类似的机器仿生系统，从广义角度凡是通过光学装置获取真实物体的信息以及对相关信息的处理与执行都是机器视觉，这就包括了可见视觉以及非可见视觉，甚至包括人类视觉不能直接观察到的、物体内部信息的获取与处理等。

机器人视觉发展历程

上个世纪60年代，由于机器人和计算机技术的发展，人们开始研究具有视觉功能的机器人。但在这些研究中，机器人的视觉与机器人的动作，严格上讲是开环的。机器人的视觉系统通过图像处理，得到目标位姿，然后根据目标位姿，计算出机器运动的位姿，在整个过程中，视觉系统一次性地“提供”信息，然后就不参与过程了。在1973年，有人将视觉系统应用于机器人控制系统，在这一时期把这一过程称作视觉反馈(visual feedback)。直到1979年，hill和park提出了“视觉伺服”(visual servo)概念。很明显，视觉反馈的含义只是从视觉信息中提取反馈信号，而视觉伺服则是包括了从视觉信号处理，到机器人控制的全过程，所以视觉伺服比视觉反馈能更全面地反映机器人视觉和控制的有关研究内容。

上个世纪80年以来，随着计算机技术和摄像设备的发展，机器人视觉伺服系统的技术问题吸引了众多研究人员的注意。在过去的几年里，机器人视觉伺服无论是在理论上还是在应用方面都取得了很大进展。在许多学术会议上，视觉伺服技术经常列为会议的一个专题。视觉伺服已逐渐发展为跨机器人、自动控制和图像处理等技术领域的一门独立技术。

机器人视觉伺服系统分类：

目前，机器人视觉伺服控制系统有以下几种分类方式：

●按照摄像机的数目的不同，可分为单目视觉伺服系统、双目视觉伺服系统以及多目视觉伺服系统

单目视觉系统只能得到二维平面图像，无法直接得到目标的深度信息;多目视觉伺服系统可以获取目标多方向的图像，得到的信息丰富，但图像的信息处理量大，且摄像机越多越难以保证系统的稳定性。当前的视觉伺服系统主要采用双目视觉。

●按照摄像机放置位置的不同，可以分为手眼系统(eye in hand)和固定摄像机系统(eye to hand或stand alone)

在理论上手眼系统能够实现精确控制，但对系统的标定误差和机器人运动误差敏感;固定摄像机系统对机器人的运动学误差不敏感，但同等情况下得到的目标位姿信息的精度不如手眼系统，所以控制精度相对也低。

●按照机器人的空间位置或图像特征，视觉伺服系统分为基于位置的视觉伺服系统和基于图像的视觉伺服系统



图1 基于位置控制的动态look and move系统

在基于位置的视觉伺服系统(如图1所示)中，对图像进行处理后计算出目标相对于摄像机和机器人的位姿，所以这就要求对摄像机、目标和机器人的模型进行校准，校准精度影响控制精度，这是这种方法的难点。控制时将需要变化的位姿转化成机器人关节转动的角度，由关节控制器来控制机器人关节转动。



图2 基于图像控制的direct visual servo系统

在基于图像的视觉伺服系统(如图2所示)中，控制误差信息来自于目标图像特征与期望图像特征之间的差异。对于这种控制方法，关键的问题是如何建立反映图像差异变化与机器手位姿速度变化之间关系的图像雅可比矩阵；另外一个问题是，图像是二维的，计算图像雅可比矩阵需要估计目标深度(三维信息)，而深度估计一直是计算机视觉中的难点。
雅可比矩阵的计算方法有公式推导法、标定法、估计方法以及学习方法等，前者可以根据模型推导或标定得到，后者可以在线估计，学习方法主要利用神经网络方法。

●按照采用闭环关节控制器的机器人，视觉伺服系统分为动态观察-移动系统和直接视觉伺服

前者采用机器人关节反馈内环稳定机械臂，由图像处理模块计算出摄像机应具有的速度或位置增量，反馈至机器人关节控制器；后者则由图像处理模块直接计算机器人手臂各关节运动的控制量。

视觉伺服所面临的主要问题

视觉伺服的研究到目前已有近20年的历史，但是由于视觉伺服所涉及的学科众多，所以其发展有赖于这些学科的发展，目前在视觉伺服的研究中仍然有很多问题没有很好地解决。

●图像处理的方法在理论和实际计算处理速度上都是图像伺服最大的难点；
●在图像处理完成后，图像特征与机器人关节运动之间模型的建立是图像伺服的另一难点；
●目前的许多控制方法都不能保证系统在工作时是大范围稳定的，所以对有关控制方法的研究也是必要的。

视觉伺服的发展前景

未来视觉伺服的研究方向主要有以下几方面：

●在实际环境下快速、鲁棒地获取图像特征是视觉伺服系统的关键问题

由于图像处理的信息量大和可编程器件技术的发展，近期把通用算法硬件化，以加快信息处理的速度的方法可能会使这一问题的研究取得进展。

●建立适合机器人视觉系统的有关理论和软件

目前的许多机器人视觉伺服系统的图像处理方法都不是针对机器人视觉系统的，如果有这样的专用的软件平台，在完成视觉伺服任务时，就可以减少工作量，甚至可以通过视觉信息处理硬件化来提高视觉伺服系统的性能。

●将各种人工智能方法应用于机器人视觉伺服系统

虽然神经网络在机器人视觉伺服中已得到应用，但许多智能方法在机器人视觉伺服系统中还没有得到充分地应用，而且，目前研究有过于依赖数学建模和数学计算的倾向，这使得机器人视觉伺服系统在工作时计算量太大，目前计算机的处理速度很难满足系统快速性的要求，但是人类在实现有关的功能时并不是通过大量的计算来完成的，这就启发大家是否可以用人工智能的方法降低数学计算量，以满足系统快速性的要求。

●将主动视觉技术应用于机器人视觉伺服系统

主动视觉是当今计算机视觉和机器视觉研究领域中的一个热点，在这里视觉系统能主动地感知环境，按一定规则主动地提取需要的图像特征，这使得在一般情况下难以解决的问题得以解决。

●将视觉传感器与其它外部传感器结合起来

为了使机器人能够更全面地感知环境，特别是对机器人视觉系统起信息补充，可以将多种传感器加入机器人视觉系统，这样做可以克服机器人视觉系统的一些困难，但多传感器的引入，就需要解决机器人视觉系统的信息融合和信息冗余问题。

结语

近年来，机器人视觉伺服技术有了很大发展，国内、外机器人视觉系统的实际应用也越来越多，许多技术难题都有希望在近期的研究中取得进展。在未来一段时间内，机器人视觉伺服系统将在机器人技术中占有突出的地位，机器人视觉伺服系统将会越来越多地应用于工业生产中。