家庭服务机器人的人脸检测、跟踪与识别研究

 

摘要：本文介绍了一个用于家庭服务机器人完成人脸检测、跟踪、识别的双目视觉系统。该系统首先采用人脸肤色模型结合相似度来检测人脸；然后通过基于颜色信息的CAMSHIFT算法跟踪运动的人脸；最后利用嵌入式隐马尔可夫模型对人脸进行识别。实验结果表明该系统能自动地检测、跟踪、识别人脸，而且该系统具有较良好的实时性和鲁棒性。

关键词：家庭服务机器人；双目视觉系统；人脸检测；跟踪识别；

1 引言

人与机器人交互是机器人研究中的一个重要课题。机器人要与人和谐地共存于同一个环境中，它应该能通过多种感觉系统主动地获取其周围人的有关信息和做出反应。视觉就是其中的一个主要途径。例如，家庭服务机器人要能够认识一个家庭的所有成员，并且能与各个成员进行交流等。因此，人脸检测、跟踪和识别功能对于家庭服务机器人来说具有特别重要的意义。本文以一个安装于家庭服务机器人上的双目视觉系统为基础，提出了对运动人脸进行检测、跟踪、识别的方法。实验表明本文采用的双目视觉系统具有良好的实时性和鲁棒性，家庭服务机器人可以利用该系统完成各种任务。

 

2 双目视觉系统工作原理

双目视觉系统由1台高性能PC机、2台CMOS摄像机、5个直流伺服电机、1块高速双通道图像输入板和1块数据采集卡组成，如图1所示。该系统具有5个自由度，它可以模仿人类的双眼运动，也即左右摄像机（相当于人的两个眼球）可以上、下、左、右运动，同时整个双目视觉系统可以像人的颈一样作旋转运动。

图1  双目视觉系统组成

 

本项研究得到广东省自然科学资金(编号36552)的资助；陈凯枫，硕士研究生，1978年10月生，研究方向是机器视觉。肖南峰，男，1962年11月生，教授，博士生导师，研究方向为智能机器人。

人脸检测与跟踪是低层视觉功能，人脸识别属于高层视觉功能。人脸检测与跟踪根据所获取的外部环境图像，得到人脸的位置和速度信息，并传送给机器人的运动控制机构，控制双目视觉系统的电机驱动摄像机转动，将人脸保持在摄像机图像平面的中央。此时得到的人脸图像最为清晰，可以为人脸识别打下良好的基础。双目视觉系统的人脸检测与跟踪、人脸识别程序是在两个独立的线程里完成的，同时线程之间存在协调关系。多线程系统模式使得家庭服务机器人在跟踪的同时也可以进行人脸识别。双目视觉系统采用动态look-and-move工作方式^[1]，即图像处理和系统控制可以同时进行，从而保证了系统的动态性能。双目视觉系统工作流程如图2所示。

  

图2  双目视觉系统工作流程

 

3 人脸检测与定位、跟踪、识别算法

3.1 人脸检测与定位算法

人脸检测与定位是双目视觉系统的重要环节，人脸检测结果将初始化跟踪过程，而检测与跟踪直接影响到人脸识别的准确性。我们采用人脸肤色模型结合相似度以及人脸轮廓来检测和定位人脸^[5]。在YC_bC_r色彩空间（其中Y表示亮度，C_b表示饱和度，C_r表示色调）中Y值不同的地方，C_bC_r子平面中肤色聚类区域是不同的，肤色聚类区域随Y变化而呈现出非线性变化。考虑Y值的影响，对YC_bC_r色彩格式进行非线性分段色彩变换，再将变换后的图形投影到C_b–C_r二维子空间就可以得到实用的人脸肤色聚类模型。根据该模型，可采用基于相似度的方法来检测人脸。为了消除亮度对人脸肤色的影响，定义r=R/(R+G+B)，b=B/(R+G+B)，把三维基色空间降解成二维的半基色空间，然后用基于频域的同态滤波法对图像进行光照补偿处理。这样就能大大地提高人脸检测的准确率，结果如图3所示。

图3  人脸检测和定位结果

 

3.2 人脸跟踪算法

由于人脸识别需要消耗大量的计算时间，因此要求检测与跟踪应尽可能快的完成，以便提高双目视觉系统的实时性。为此，我们选择了基于颜色信息的CAMSHIFT快速跟踪算法^[6]。对于人脸或者具有特定颜色的目标，颜色对于它们的旋转和平移运动不太敏感，所以颜色是跟踪中经常用到的信息。CAMSHIFT算法还可以用于查找概率分布的模式，以适应动态变化的概率分布。这样，将彩色图像根据目标的颜色信息，通过反投影图方式转变为表现目标模式信息的概率分布图像，使用CAMSHIFT算法对概率模式进行跟踪，就能对目标连续地跟踪。

 

跟踪初始化时，假设在图像序列的某幅图像中已经检测到了人脸位置。将此位置作为图像的感兴趣区域，对此图像统计H分量的直方图和进行线性变换，并将每个箱格对应的值转换到0~255的范围内。然后将上面得到的直方图当作查找表，对序列后面的图像都在H分量里计算反投影图。对原始图像的每个像素，以像素值为索引查找对应的颜色直方图箱格，再将直方图的值作为与原图像对应位置的反投影图的像素值。这样，反投影图每个像素值相当于原图像相应位置像素属于目标的概率，人脸或与人脸有类似颜色的区域，将具有最大的像素值（概率）。所以，反投影图实际上就是颜色的概率分布图。为了减少噪声区域，采用了灰度图像的腐蚀形态学运算方法对反投影图进行处理，如图4所示。

   

图4  原图像（上）和对应的反投影图（下）

 

原始图像通过反投影图转换成二维的颜色概率分布图像后，通过CAMSHIFT算法对颜色概率图进行处理，找到在当前帧中指定颜色的目标的中心和大小。同时，当前目标的大小和位置信息用于设置下一帧搜索窗口的大小和位置。重复上述过程，就可以实现连续地跟踪。基于颜色信息的CAMSHIFT算法跟踪速度快，计算负担小。对于不规则的目标运动、图像噪声、旁边存在类似颜色的干扰目标、部分遮挡、灯光在一定范围内变化等都能很好地进行跟踪，具有较好的跟踪速度和鲁棒性，缺点是当背景中有较大面积类似颜色的地方与目标连通时，不能确定目标真正的大小和位置，从而会失去跟踪效果。

 

在正常的情况下，目标区域的大小在一定范围内，而且前后两帧图像中，目标区域大小的变化不会太大。因此，如果发现CAMSHIFT算法跟踪模块得到的结果超过正常范围，而且前后帧有比较大的变化，说明受到了具有类似颜色的背景或其他目标的干扰，可以认为跟踪进入了失效状态，此时需要进行重新检测人脸。定位人脸的当前位置后，再次进行跟踪。为了避免跟踪的累积误差，跟踪进行了一定时间后，需要重新检测人脸。如果检测到的人脸位置与跟踪结果不一致，则以检测结果为准，初始化跟踪模块，以提高系统的鲁棒性。

 

3.3 人脸识别算法

目前，人脸识别主要有基于人脸整体模型的识别方法和基于局部特征的识别方法。本系统采用嵌入式隐马尔可夫模型（E–HMM）对人脸特征进行提取和识别^[5]。E–HMM是一种基于整体和统计决策过程的建模方法，该模型取5个超状态分别对应于人脸的前额、眼睛、鼻子、嘴、下巴，它们描述和代表了人脸的宏观特征。每个超状态内嵌入的状态分别用于提取人脸的局部区域特征。实验证明嵌入的状态数取（3，6，6，6，3）的结构具有较好的识别精度。E–HMM的每个脸部用一个E–HMM参数表示，人脸的差异就是通过模型参数的不同来表现的。一个人脸图像的E–HMM通常记为λ={Π，А，Λ}，其中Π={Π_i，1≤i≤N}表示超状态初始概率分布，N=5为垂直方向超状态数，A={a_ij，1≤i，j≤N}是超状态转移概率矩阵，Λ={Λⁱ，1≤i≤N}为超状态序列（即嵌入的HMM）。为了识别不同姿态的人脸，在采集人脸图像入库时，提取9种具有代表性的姿态，将同一人脸的9个不同姿态的样本来加权合成训练其E–HMM参数。每一次重估E–HMM参数都用同一个人脸图像获取相应的E–HMM参数，然后进行加权合并，最终得到E–HMM模型参数的重估公式。将训练出来的不同人脸的E-HMM特征参数值预先存入人脸数据库中。在进行人脸识别时，计算出待识别人脸的E-HMM参数，再通过比较匹配算法所给出的概率值来确定待识别的人脸。

 

人脸检测与跟踪得到的人脸位置信息可以用于人脸识别。同时，人脸识别的结果可以使机器人有选择性的进行目标跟踪，如在具有多个人脸的情况下，也可以控制机器人跟踪特定的人脸。

 

4 电机控制方法

本文采用的双目视觉系统可以根据检测与跟踪到的人脸位置，发送命令到电机控制模块，通过驱动电机带动摄像机转动，从而使人脸始终位于摄像机图像平面的中央。系统的左右摄像机分别同时进行控制。假设人脸区域（看作长方形）的中心点与图像中心点的距离为δ。通过多次实验，得到人脸在摄像机图像平面的位置与电机转动角度之间的对应关系，并将其当作控制电机转动角度的映射函数。设Δx_L和Δx_R、Δy_L和Δy_R分别是目标在左右摄像机图像平面的x和y方向上离图像平面中心的距离，m_LH和m_RH、m_LV和m_RV分别是左右电机在水平、垂直方向上转动角度，K_L和K_R是常量，则有m_LH=K_LΔx_L，m_RH=K_RΔx_R，m_LY=m_RY=0.5（Δy_L+ Δy_R）。

 

5 实验

我们在室内环境下进行了人脸检测、跟踪与识别的实验。计算机是Pentium4 2GHz CPU，256MB RAM，Windows 2000操作系统。在MS VC++ 6.0开发平台上结合Intel公司的IPL和OpenCV图像视觉库实现了上面的算法。左右摄像机的图像平面大小均为352×288像素。图5是双目视觉系统软件界面，其中每隔一定时间，系统更新显示当前跟踪的人脸识别结果。图6显示了左摄像机的部分的人脸跟踪序列。实验结果表明在一定背景类肤色干扰的情况下，双目视觉系统检测、跟踪与识别具有良好的实时性和鲁棒性。

左右摄像机图像

 

 

显示识别结果

 

识别时使用的快照

6 结论

本文采用双目视觉系统实现了人脸检测、跟踪与识别功能，该系统采用人脸肤色模型和人脸轮廓等多种信息来检测和定位人脸。检测到人脸后，通过颜色信息跟踪运动的人脸，利用嵌入式隐马尔可夫模型对人脸的特征进行提取和识别，并与预先建立的人脸数据库进行匹配，获得被识别人员的有关身份信息。实验结果表明该系统能自动地定位、跟踪和识别人脸，具有良好的实时性和鲁棒性。将来的工作是提高系统在复杂环境下的鲁棒性。同时，通过双目视觉系统获取深度信息，以便提高系统在复杂环境下对目标的检测、跟踪与识别能力。

 

参考文献：

[1] S. Hutchinson，G.D. Hager，P.I.，Corke，A Tutorial on Visual Servo Control，IEEE Transactions on Robotics and Automation，1996-10，Vol. 12，No. 5，pp. 651- 670；

[2]Stefan Feyrer，Andreas Zell，Detection，Tracking and Pursuit of Humans with an Autonomous Mobile Robot，Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems，（1999-10），Vol. 2，pp. 864 – 869；

[3] C. Laschi，H. Miwa，A. Takanishi，E. Guglielmelli，P. Dario，Visuo-Motor Coordination of A Humanoid Robot Head with Human-Like Vision in Face Tracking，Proceedings of IEEE Inter- national Conference on Robotics and Automation，（2003-9），Vol. 1，pp. 232-237；

[4] Jian Peng，A. Srikaew，M. Wilkes，K. Kawamura，A. Peters，An Active Vision System for Mobile Robots，IEEE International Conference on Systems，Man，and Cybernetics，（2000-10），Vol. 2，pp. 1472-1477；

[5] 肖南峰，郑宇，人脸自动追踪与识别系统的设计与实现，华南理工大学学报，2004-9，Vol. 32，No. 9，pp. 1-5；

[6] Gary R. Bradski，Real Time Face and Object Tracking as A Component of A Perceptual User Interface，Applications of Computer Vision，WACV'98，Proceedings of Fourth IEEE Workshop， （1998-10），pp. 214 – 219。