人脸检测及识别下一步的工作安排：

优势： 人脸识别系统更加直接，友好，使用者无心理障碍，并且通过人脸的表情/姿态分析，还能获得其他识别系统难以得到的一些信息

人脸识别的研究内容：

人脸识别一般可描述为：给定一静止或动态图像，利用已有的人脸数据库来确认图像中的一个或多个人。从广义上来讲：研究内容包括以下五个方面：

1）  人脸检测

2）  人脸表征——即确定表示检测出的人脸和数据库中的已知人脸的描述方式。通常的表示方法有几何特征（如欧氏距离，曲率，角度等）、代数特征（如矩阵特征矢量）、固定特征模板、特征脸、云纹图等。

3）  人脸鉴别——即通常所说的人脸识别，核心是选择适当的人脸表示方式与匹配策略。

4）  表情分析——即对待识别人脸地表情进行分析，并对其加以分类。

5）  物理分类——

首先是人脸检测与定位。受到以下因素的影响：1）人脸在图像中的位置、旋转角度和尺度不固定；2）发型和化妆会遮盖某些特征；3）图像中出现的噪声。

其次是特征提取。一般做预处理如几何归一化和灰度归一化。

最后是人脸识别。

在用静态图像或视频图像做人脸识别的领域中，国际上形成了以下几类主要的人脸识别方法：

1）基于几何特征的人脸识别方法，主要代表是MIT的Brunelli和Poggio小组，他们采用改进的积分投影法提取出用欧氏距离表征的35维人脸特征矢量用于模式分类；

2）基于模板匹配的 人脸识别方法，主要代表是Harvard大学Smith-Kettlewell研究中心的Yuille，采用弹性模板来提取眼睛和嘴巴的轮廓，

3）基于K-L变换的特征脸方法，MIT媒体实验室的Pentland小组，在此基础上出现了各种改进方法，如Yale大学的belhumeur提出的Fisher脸方法；

4）隐马尔科夫模型方法，主要代表有Cambridge大学的Samaria小组和Georgia 技术研究所的Nefian小组；

5）神经网络识别方法，如Poggio小组提出的HyperBF神经网络识别方法，英国Sussex大学的Buxton和Howell小组提出的RBF网络识别方法等。

6）基于动态链接结构的弹性图匹配方法，主要研究者是由C。Von der Malsburg领导的德国Bochum大学和美国SouthernCalifornia大学的联合小组

7）利用运动和颜色信息对动态图像序列进行人脸识别方法，主要代表是Queen Mary和Westfield大学的ShaogangGong小组。

 

主要应用：

1）  刑侦破案

2）  证件验证

3）  入口检查

4）  视频监控

 

实际产品： 

公司	创建人	产品名称	时间	备注
Mirio	Michael Kuperst	1)TrueFace Cyber Watch 2）TrueFace Gate Watch		1）  第一套用于计算机、网络和数据安全保障的软件 2）  专用的入口控制系统
Plettac		Face ＶＡＣＳ	1998	入口控制，可用于ATM，或计算机口令
FaceKey		FaceKey		与指纹识别结合，使错误接收率为百万分之一
Visionics		FaceIt	1994	PCA-〉局部特征分析
Zn Bochum Gmbh		1)      Zn-Face 2)      ZN-Phantomas 3)      Zn-SmartEye		1)      入口控制 2)      人脸搜索 3)      视频监控
Viisage		1）  FaceFinder 2）  FaceTools 3）  FaceNet 4）  FacePin	基于特征脸方法

其他还有FaceWare、PassFace、Eyematic、BioID

 

第三章：

根据输入图像的性质，人脸识别方法分为静止图像的识别和图像序列的识别两大类。

输入的静止图像分为侧面和正面两个方面

 

人脸侧影识别

  90年以前使用

使用立方B样条函数

识别步骤：1。图像获取  2．特征提取  3。识别

 

基于几何特征的人脸识别方法

基本原理：人脸特征的整个几何结构足够用于识别。

识别归结为特征矢量之间的匹配。基于欧氏距离的判决是最常用的方法。

识别步骤：

1．  归一化  一种获得尺度和旋转补变性的方法是设定两眼之间的距离和方向轴。

首先基于模板匹配，

2．  特征提取

积分投影法： 图像I[x,y]在举行窗口[x1,x2]*[y1,y2]上的垂直积分投影定义为

                      V(x) =      H(y) =   

一旦眼睛用模板匹配定位了，其他特征的搜索就可利用人脸五官分布的先验知识。

最后一共可抽取35个几何特征用于识别。

3．  识别   用35维的特征向量表示，用贝叶斯分类器进行识别。假设每个人的特征向量服从高斯分布，因此不同的人仅均值有所不同。为了估计高斯分布的形状，用学习集的所有样本估计协方差矩阵：                          =   

优点：1）符合人类识别人脸的机理，易于理解，识别率高2）对每幅图像只需存储一个特征矢量，存储量小；3）对光照变化不太敏感；4）特征提取工作只依赖于本幅图像，可用于只有单个样本的识别

缺点：1）抽取稳定的特征比较困难，2）对强烈的表情变化或姿态变化的鲁棒性较差；3）特征点只能从灰度变化剧烈的地方抽取，因此不宜考虑人脸的三维结构；4）一般几何特征之描述了部件的基本形状与结构关系，忽略了局部细微特征，

 

3．3 基于模板匹配的人脸识别方法

       大多是用归一化互相关，直接计算两幅图像之间的匹配程度。预处理要做尺度归一和灰度归一的工作。

       弹性模板由一组根据特征形状的先验知识设计的可调参数所定义。为了求出这组参数，需要利用图像的边缘、峰值、谷值和强度信息及特征形状的先验知识设计合适的能量函数。

 

人脸轮廓的椭圆模型

眼睛模板

Yuille 提出的眼睛模版。采用最速下降法最小化能量，依次寻找眼睛的各重要特征点，

 

嘴唇模版 分为闭模板和开模板

 

3.4 等灰度线 

       基本原理：灰度图象中具有相同灰度值区域的边界。

       识别步骤：

1．  预处理 分为5步进行：１）取人脸轮廓边缘，可采用Sobel算子S0，2）消除边缘噪声 3）连接边缘轮廓上的小间隙，反复使用扩张和收缩操作， 4）剪出图像中的人脸区域，5）平滑轮廓线及归一化人脸区域

 

2．  提取等灰度线  作出直方图，把直方图分为8个区域，每个区域的大小可有所不同，

 

第四章 现代人脸识别方法

 

4.1 特征脸方法

特征脸方法是从主成分分析（PCA）导出的一种人脸识别和描述技术。

识别过程就是将人脸图像映射到由特征脸张成的字空间上，比较其与已知人脸在特征脸空间中的位置，具体步骤如下：

  1）初始化   2）输入新的人脸图像，将其映射到特征脸空间，得到一组权值。 3）判断是否为人脸。 4）若是人脸，判断是数据库中的哪个人 5）学习

特征脸的优点： 1）图像的原始灰度数据直接用来学习和识别，不需要任何低级或中级处理　２）不需要人脸的几何和反射知识　　３）通过低维子空间表示对数据进行压缩 4）简单有效。

  它依赖于训练集和测试集图像的灰度相关性，而且要求测试图像与训练集比较像，有很大的局限性：  1）对尺度变化很敏感 2）只能处理正面人脸图像，在姿态、发型和光照等发生变化时识别率明显下降  3）要求背景单一  4）学习时间长，只能离线计算

 

改进： 双子空间法，相形歧义分析方法，Fisher脸方法。

 Fisher 脸方法又称为线性判别分析（LDA）方法，它选择与类内散布正交的矢量作为特征脸空间，从而能压制图像之间的与识别信息无关的差异，对光照及人脸表情变化都不太敏感。

与K-L变换的思想比较相近但不是从统计角度出发的另一种变换是奇异值分解（SVD）方法，即将图像矩阵的奇异值作为模式的特征矢量。同时拥有代数与几何两方面的不变性，即对图像灰度值的比例变化、平移、旋转和伸缩具有不变性。

奇异值分解的论文 ：

 

 

 

 

双子空间法   Peng H ，Zhang D Dual eigenspace method for human face recognition  Electronics Letters 1997 33(4) 283-284

相形歧义分析方法

 

Fisher脸方法

 

  4.2 隐马尔可夫模型

  论文：

HMM有三个主要问题：评估、估计及解码。 评估用于解决识别问题，一般采取比较有效的“向前—向后”法；  估计问题用来产生用于识别的各个单元的HMM，采取 Baum-Welch方法。 Viterbi算法用以求取给定观测序列的最佳状态序列。

1．  HMM的表示  主要由以下元素组成：1）模型中的状态总数N  2）初始状态分布 Π  3）状态转移概率矩阵Ａ，即Ａ＝｛ａij｝ 4) 状态概率矩阵B

2．  前向—后向算法

3．  Baum-Welch算法

4．  Viterbi算法  以最大值取代包括最大值之内的所有可能项之和。是计算得分的近似方法。

 

4.3        基于神经网络的方法

有其特殊的优势，不需要一套由人确定的规则，同时避免了复杂的特征提取工作，能根据有代表性的样本自我学习，具有鲁棒性和自适应性。

论文

 

用神经网络进行人脸识别主要有以下三种结构：

1）  为所有已知人脸建立一个神经网络 

2）  为每一个人脸建立一个神经网络

3）  为每一对人脸建立一个神经网络

多层感知器（MLP） 

   模型特点：MLP是一个多层前馈神经网络，由输入层、一个或多个隐层以及一个输出层组成。采用BP算法。

RBF网络

  模型描述 ：ＲＢＦ网络可视为由一个隐层所构成的前馈神经网络，其隐节点输出是ｐ维输入特征矢量Ｘ与特征空间中的固定点Ｃｉ＝（．．）　

ＨｙｐｅｒＢＦ　网络

其他的神经网络模型

 

4.4        弹性图匹配方法

一种基于动态链接结构的方法，它将人脸用格状的稀疏图表示，图中的节点用图像位置的Gabor小波分解得到的特征向量标记（称为jet），图的边用连接节点的距离向量标记。匹配过程如下：首先寻找与输入图像最相似的模型图，在对图中的每个节点位置进行最佳匹配，这样产生一个变形的图，其节点逼近模型图的对应点的位置。

弹性图匹配方法对光照、位移、旋转及尺度变化都不敏感，是一种优于特征脸的人脸识别方法。

相关论文：

主要缺点是对每个存储的人脸需计算其模型图，因此计算复杂，存储量大，利用聚束图匹配就可部分克服这个缺点。有关聚束图的论文如下

用Gabor小波预处理 。Gabor小波是以任意一个高斯函数作为窗函数的窗口Fourier变换。一个图像像素与不同方向和频率的Gabor核卷积后的系数集合称为一个jet。

 

人脸表示：

1．  个人人脸  2。人脸聚束图  

 

弹性聚束图匹配产生人脸表征 

手动定义，产生系统的初始图。每种姿态一个图，并且产生不同姿态图的对应节点的指针一旦有了一个聚束图，新输入图像的聚束图就可通过弹性聚束图匹配得到。

   1．手动定义图  2。 图的相似性函数 

3。匹配过程  从粗到细：第一步，寻找人脸的近似位置； 第二步，精化人脸位置和大小。第三步，精化尺寸和寻找纵横比； 第四步， 局部变形

 

识别：

 

4.5        其他人脸识别方法

 

Jia 和 Nixon 指出：单靠扩展单一种类的特征数目是不够的，而要扩展与原特征集正交的其他种类特征，他们采用的扩展特征矢量有四种特征集：正面人脸的几何特征、侧面轮廓特征、眼睛形状特征以及人脸轮廓特征。  其中侧面轮廓特征是从正面人脸图像中获得的，方法是Walsh变换描述人脸对称轴处局部灰度值得水平积分投影曲线。论文有

目前研究最多的识别方法基本上都是针对二维灰度图象的，除此之外，还有深度人脸图像数据

Curva-ture. Proce4edings of SPIE 1991 Vol.1570 ,pp 234-247

和红外人脸图像数据

 

另外，可以使用多CCD摄像机系统，得到三维信息模型，论文如下：

 Recognition Killington 1996

利用多种生物特征，如把人脸识别与指纹识别结合，或者与语音识别结合

 

 

第五章 图像序列中的人脸识别方法

论文

图像序列与静止图像的人脸识别相比，优势如下：

1）  图像序列提供了多帧人脸图像，因此可以从中选择质量较好的几帧图像进行分类识别。

2）  图像序列具有时间连续性，

3）  可以补偿人脸的表情和姿态的变化。

困难如下：

1）  质量一般都较低

2）  尺寸较小

 

图像序列中的人脸识别系统一般包括3个模块：人脸检测、人脸跟踪和人脸识别模块。  检测和分割人脸大多利用视频流里的人脸的运动信息来分割人脸。论文：

人脸跟踪算法，主要 分为基于运动的跟踪方法和基于模型的跟踪方法。论文

两种思路：

1）  利用对整个头部进行跟踪，利用头部形状特征（近似椭圆）对其进行跟踪。

2）  对脸部重要器官的特征跟踪

同上 ，32，61

跟踪的同时需要对运动进行预测。广泛采用的是Kalman滤波

人脸姿态的估计

 Recognitioin ，Killington 1996

处理人脸深度旋转主要有三种方法 ：

图像序列中的人脸识别方法主要有2种方案：一种是从图像序列中选择几帧质量较好的图像，然后用静止图像的人脸识别方法进行匹配，大多数系统都采用这种方法进行识别。第二种是对所有跟踪帧应用计算方法识别，不断调整识别概率。

5.2 基于运动和颜色的人脸识别方法

Springer， 1998

5.2.1 运动目标检测

利用运动序列中每帧的像素与时间滤波卷积可检测运动轮廓：

5.2.2          人脸肤色模型

不同人之间的差异主要存在于亮度而不是在色彩上。可以用于人脸检测的粗定位环节。论文如下：

Recognitioin ，Killington 1996

5.2.3          人脸检测

5.2.4          人脸跟踪

5.2.5          人脸识别

 

首先在较高级分辨率图像上配准人脸，再将人脸图像用人脸空间中的一组向量表示，人脸空间由PCA或线性判别分析（Linear Discriminant Analysis，LDA）得到。识别就可用最近邻方法在人脸空间上匹配人脸。

 

从图像序列中判断人脸可以用高斯概率分布来做，从一系列的人脸图像中匹配，看哪个人的概率比较高，

第六章 人脸是别系统的评价

 

人脸识别系统评价必须注意以下几点：1）必须有足够用于评价的大量测试样本；2）样本图像应与实际应用中出现的图像尽可能相似，而且要有代表性；3）除了讨论系统的错误接受率外，还应该考虑系统的错误拒绝率。

评价人脸识别系统的标准，

1）  系统识别率 = 100% - 错误接受率 –错误拒绝率

2）  对样本的约束

3）  速度和硬件要求

4）  人机界面 

5）  其他： 系统识别人数，系统地学习能力以及处理噪声的能力

论文

 

6．2 人脸数据库

       1．英国ORL（Olivetti Research Laboratory） 使用最广泛的人脸数据库     2。英国Manchester 人脸数据库  3。美国 FERET(FacE Recognition Technology) 最大的人脸数据库  4。日本ATR数据库  5。欧洲 M2VTS多模型人脸数据库

6.3  系统可靠性检验

错误拒绝率——在数据库中的人脸被错误拒绝FRR

错误接受率——不在数据库中的人脸被错误接受 FAR

必须选择合适的阈值， 使得FRR和FAR 取得一个折中。

 

第七章 总结与展望

应用最广泛的一种全局特征描述方法是基于K-L变换的特征脸方法，局部特征描述则需用到人脸器官形状和分布的先验知识。 人脸识别与其他生物统计学鉴别系统如指纹识别、语音识别等相结合，能提供很高的正确识别率，可用于安全性能要求较高的系统。

图像序列中利用整个跟踪序列来识别人脸的关键是进行运动估计和人脸跟踪。

人脸识别的一个重要步骤是系统评价，必须选择标准数据库和足够多的测试样本，而且要同时考虑系统地错误接受率和错误拒绝率。

自动识别人脸系统最大两个问题是如何处理光照变化和姿态变化的影响。

目前需要解决的3个主要技术是：

1）人脸检测与定位

2）特征选择与提取  人脸是塑性变形体，更适合用弹性模型来描述。

3）人脸识别  将多种方法有效综合将是以后研究的一个趋势。另外可以与基于其他生物特征的鉴别系统结合以提高识别率。