高速视觉伺服系统（一）

最近在学习相关知识，做个简要总结：

1. 背景介绍
2. 国内外研究现状
3. 算法介绍
4. 研究问题及实施方案
5. 总结展望

背景介绍

研究表明，人类获得的80%以上的感官信息来自于视觉器官。借鉴同样的原理，借助视觉伺服系统，机器人可以广泛地用于掌握变化的外部环境。从而做出相应的反应。这就是伺服系统的背景。最典型的一个例子就是图中实况转播中乒乓球的高速追踪。

如果摄像头需要捕捉某一运动物体，常需要根据实际情况调整摄像机的视线方向。例如在乒乓球比赛中，我们需要跟踪乒乓球的轨迹来分析运动员的击球技巧。事实上，在乒乓球的实况转播中如果要观察选手几出的乒乓球的运动细节，常常需要手动控制高速摄像机。但由于，乒乓球的移动速度通常为10米/秒，转速为150转/秒，难度可想而知，所以高速俗伺服系统的研究对于诸如体育广播，车辆碰撞检测，飞行昆虫观测等领域有着重要的意义。

• 视觉伺服系统（visual servo）
  这是一种通过光学的装置和非接触的传感器自动地接收和处理一个目标物体的图像，再通过图像反馈的信息，让机器系统对机器做进一步控制或相应的自适应调整行为的系统。高速视觉伺服系统中，超高清画面帧速率从500fps到20万fps不等，甚至可以拍摄显示器单个像素的液晶旋转。
  那么首先产生出来的问题就是，目前传统的视频信息处理主要使用CCD等视频传感器，帧频为30fps。因此这就限制了高速图像采样率，所以这种方法不能实现高速视觉控制。因此在一些特定场景中，有必要采用高速摄像机实现高速伺服控制系统。，要拍摄高速运动的物体，就需要相应的高速相机，但是高速相机价格昂贵，而性能稍弱的相机由于光圈小，拍摄高速物体会产生拖影；
  第二个问题在于，由于在实际的高速运动中，目标画面里的位移范围较大，若仅仅采用高速摄像机接收画面，将会产生“运动模糊”。“运动模糊”是指摄像时相机和被摄物体之间有相对运动而造成的图像模糊导致的图像退化。退化后的图像难以用来进行目标精细特征的运动分析，比如乒乓球的旋转等。因此直接的研究思路是让相机的视角随着目标运动而变化，尽可能地减少相机与目标之间的相对运动。目前常用的是利用各式云台系统进行伺服控制。
  

• 云台

接下来是云台的介绍，在一些应用中，需要在比相机的原始视角更宽的范围上获取图像。那些可以自主控制视觉方向的相机，称为云台摄像机（或主动视觉系统）。云台是安装、固定摄像机的支撑设备，我们最常见的云台有固定和电动云台两种。固定云台适用于监视范围不大的情况，在固定云台上安装好摄像机后可调整摄像机的水平和俯仰的角度，达到最好的工作姿态后只要锁定调整机构就可以了。

电动云台适用于对大范围进行扫描监视，它可以扩大摄像机的监视范围。电动云台高速姿态是由两台执行电动机来实现，电动机接受来自控制器的信号精确地运行定位。在控制信号的作用下，云台上的摄像机既可自动扫描监视区域，也可在监控中心值班人员的操纵下跟踪监视对象。
电动云台的旋转转速5度/秒-120度/秒不等，高速球型摄像机的内置云台达240度/秒。

• 传统云台的弊端

如果高速图像处理器可以与其帧速率相同或近似相同的速度来控制其视角。那么就可以很好的观察高速动态物体无运动模糊，而且具有很大的视角。然而，即使通过旋转平台快速地控制高速图像处理器的视觉方向，也不能获得足够的高速性能。而且一般调整视觉方向所需的时间通常超20 ms，而高速图像处理器的成像周期小于1 ms。 这是实现高速云台相机的关键瓶颈，特别是视觉伺服系统。而这其中很大原因就是，云台的重量在旋转时时产生的惯性，而且在不断的惯性累积下最终误差将会非常大。从而无法实现高速度的视觉伺服。

国内外研究现状

• Kohei Okumura, Keiko Yokoyama, Hiromasa Oku & Masatoshi Ishikawa. 1 ms Auto Pan-Tilt – video shooting technology for objects in motion based on Saccade Mirror with background subtraction. ISSN: 0169-1864 (Print) 1568-5535 (Online) Journal homepage: http://www.tandfonline.com/loi/tadr20.
  （提出硬件和算法构成的高速物体追踪技术）
  Okumura K, Oku H, Ishikawa M. High-speed gaze controller for millisecond-order pan/tilt camera[C]// IEEE International Conference on Robotics and Automation. IEEE Xplore, 2011:6186-6191.
  （新的自动云台技术及其算法）
  第一篇文章是我今天主讲的论文，它是建立在论文二的基础上，论文二是一的铺垫，主要解决的问题是提出了一种在实际情况下稳健的自动云台技术，并将一种新算法应用于该设备，以适用于高速伺服系统，论文一从硬件和算法两个方面进行了研究，提出了一种对随机、快速移动对象的拍摄系统。
  
  首先是论文一，这是一种基于背景减法的扫视镜运动物体拍摄技术，文中提出了一种基于精确定心技术的对随机、快速移动对象的ms级追踪拍摄系统。它可以实时追踪高速运动物体，以目标物体为轴心，不断调整相机视角，最后的结果就是，虽然那物体在高速移动，但其一直在显示频的中心。通过对系统进行数学量化，提出了一种可靠实用的算法，接下来分别介绍。

Saccade Mirror

由于两篇论文都是作者所写，所以在这里穿插将以下论文二，论文二提出了一种称为Saccade Mirror的外部高速视觉控制器及其配套算法。从图中我们可以看到，它包括了激光振镜，光瞳移位系统和两个摄像头接口，这里我觉得需要解释为什么需要两个摄像机接口，通过高速视觉反馈, 我们可以进行清晰精确的实时定位追踪。因此, 具有高帧速率和高分辨率的相机是必不可少的。但是, 由于目前帧速率和分辨率两者的关系是此消彼长的,也就是说，一般的工业相机在具有高分辨率情况下，所获取的每张图像的数据量很大，在传输接口能够传输的数据带宽有限的情况下，帧率就会比较低（影响处理速度）；同理如果工业相机具有高的拍摄帧率，为了降低成本，所选择的工业相机传感器分辨率就会偏低，无法满足高分辨的要求。这就是高拍摄帧率与高分辨率两者之间存在的矛盾，在这里作者选择另一种想法来解决它, 就是把功能分开, 即在系统中设置了两个摄像头同轴,其中一个是具有高帧率的相机进行图像处理, 另一个是具有高分辨率的进行观察。

Saccade Mirror的关键：激光振镜

了解到以上云台不能解决高速伺服系统中的问题，接下来我们讲一种创新的云台，激光振镜，这种云台以光学方式控制相机的视线方向。相机本身固定使用，而且与运动部件分离，在这种情况下，因为唯一的旋转部件是两个反射镜，所以该子系统的惯性可以大大降低。 这就解决了我们上面提到的速度问题，但是同样，它在减小惯性的同时，也限制了一些光学条件。由于因为镜子很小，并被限制固定在两个轴上旋转，那么可行的视觉角度就会很小。因此这类云台系统，通常用来专注于观察小型飞行昆虫，如果换成大镜子，同样会产生惯性过大的问题。上图就是激光振镜的简图，下边是激光振镜的实物图。那有木有更好的解决方案？肯定有。

光瞳移位系统

所以就有了光瞳移位系统，首先是摄像机的基本成像模型，所有来自外界的光线进入相机会集中在某个点，这个点称为光瞳。在相机固定也就是最大视觉θ一定的情况下，成像区域S(θ)会随着距离d的变大而变大。基本成像模型的黑色线条经过镜头成像就是右边灰色线。

有了这个铺垫再看下面的光瞳移位系统，通过增加了凸透镜（其实论文中为了效果最大化，加了三个凸透镜，在这里为了显示简介，只画出一个），光学知识里，光线可以被凸透镜折射。 考虑到A是相机原本的光瞳，经过B的光线，经过凸透镜的折射，同样会经过A，这样，这个视觉系统就有两个光瞳，原始的A和移位后的B.这样会大大扩展相机视觉，这个理论可以应用于激光振镜，同时实现广角和高速性能。光瞳移位系统将相机光瞳转移到激光振镜附近。因此，即使使用小镜子，我们也获得了更大的视角，从而推广了基于激光振镜的云台的实用性。 例如，为了在没有光瞳移位系统的情况下扩大30度的视角，云台镜的惯性估计为比使用光瞳移位系统的情况大一百多倍。

坐标系转换

接下来就是世界坐标系与相机坐标系的转换，一方面在高速视觉控制的过程中需要不断获取振镜的转移角度进行量化和重新调整，另一方面， 在摄像机自己的坐标系中，方便后续的计算，所以坐标系的转换是很有必要的。XYZ通过一系列的几何代数运算，最后得到了视觉传感器的坐标。。在后面的算法会用到。

算法介绍

• 传统HSV算法（目标和背景之间的颜色区分）

算法介绍，首先是目标和背景之间的颜色区分，由于大多数场景都包含了背景中相似的颜色。它会导致错误的位置作为目标中心。因此，在目标和背景之间更复杂的区别是至关重要的。在这篇文章中，作者提出了这样的解决方案即基于HSV颜色模型的算法。这个算法相对简单，在每个像素上, 如果 I (x, y) 和 O（x，y））（预先指定的目标对象颜色）之间的差异 (j = h, s, v)小于Cj,(Cj为用户任意设置的阈值)像素将被视为值 1 (如果不是), 则为值0。HSV模型中颜色的参数分别是：色调（H），饱和度（S），明度（V）。

• 背景减法(Background subtraction) （运动目标检测）
  -紧接着的算法是背景减法，这也是当前运动目标检测技术中应用较为广泛的一类方法，它的基本思想和帧间差分法相类似，都是利用不同图像的差分运算提取目标区域。不过与帧间差分法不同的是，背景减法不是将当前帧图像与相邻帧图像相减，而是将当前帧图像与一个不断更新的背景模型相减，在差分图像中提取运动目标。利用背景减法实现目标检测主要包括四个环节：背景建模，背景更新，目标检测，后期处理。其中，背景建模和背景更新是背景减法中的核心问题。背景模型建立的好坏直接影响到目标检测的效果。所谓背景建模，就是通过数学方法，构建出一种可以表征“背景”的模型。
  流程：背景建模，背景更新，目标检测，后期处理
  
  建立一幅背景图像帧B ，记当前图像帧为fn，背景帧和当前帧对应像素点的灰度值分别记为B(x, y )和fn(x , y ) ，
  按照下面的公式1 将两帧图像对应像素点的灰度值进行相减，并取其绝对值，得到差分图像Dn：
  
  设定阈值 T ，按照式2 逐个对像素点进行二值化处理，得到二值化图像 Rn’ 。
  对图像 Rn’进行连通性分析，最终可得到含有完整运动目标的图像Rn 。
  
• 追踪算法
  
  
• 结果测试
  
  结果测试中，目标是一个附着在白色木棍上的橙色物体，并在背景中放置了几个干扰物体，与目标完全相同。图A中显示的是仅仅使用HSV算法的颜色和图像大小信息。图B使用了HSV算法和背景减法，可以看到图a中，检测目标很容易就被干扰目标所干扰，加上了背景减法之后很容易从干扰种追踪和识别到目标，B中即使目标的大部分与背景重叠，目标仍处于中心位置。

参考视频（需要FQ）

---

未完待续
第二章节

如果觉得本文写的还不错的伙伴，可以给个关注一起交流进步，如果有在找工作且对阿里感兴趣的伙伴，也可以发简历给我进行内推：