基于Python和openCV的人脸识别研究与实现

收藏和点赞，您的关注是我创作的动力

概要

  人脸识别技术(Face Recognition Technology)是对输入的图像或者视频进行判断是否存在人脸，若存在人脸，则获取该人脸的特征数据，计算特征值，并将人脸数据与已有的人脸数据进行比较，从而得出该人脸的身份信息。人脸识别技术相对于其他生物特征识别技术而言，具有更加快捷方便的特性，用户不需要特意或者直接与设备接触，设备便可自行获取数据。但同时，人脸识别技术和其他生物识别技术相比，更容易被环境的因素干扰从而出现错误，需要人为干预以及大量的数据支撑。目前，人脸识别技术在国内外的各中环境中都被广泛使用。
关键词：人脸识别；生物特征识别技术；特征值

一、研究背景与意义

  人脸识别技术(Face Recognition Technology)是一种生物特征识别技术。生物识别技术是指通过计算机与光学、声学、生物传感器和生物统计学原理等高科技手段密切结合，利用人体固有的生理特性(如指纹、脸象、虹膜等)和行为特征(如笔迹、声音、步态等)来进行个人身份的鉴定，人脸识别技术即是通过获得人类面部的特征进行身份鉴定的技术。其主要功能包括人脸检测，人脸追踪以及人脸比对，即在动态场景与复杂背景中判断是否有面像存在并分离出这些面像，进行动态目标跟踪，同时在面像库中搜索人脸数据从而对检测到的人脸进行身份鉴定。 目前，人脸识别技术在门禁、监控、相机等各种场景和环境下都有广泛的使用。

1.1本设计的目的、意义及应达到的技术要求

  人脸识别技术是一项现代人工智能技术中的的热门研究领域，它为人类社会发展的快速、便捷、安全等方面提供了保障。在当今社会中，从工作刷脸签到到购物刷脸支付再到公安刑侦，人脸识别技术都扮演了极其重要的角色。在这样的实际背景下，人脸识别技术的研究的重要性也就不言而喻了。在本设计中，主要实现人脸识别技术中的人脸检测追踪，人脸信息录入以及人脸身份识别等功能，最终可达到一对一实时人脸信息识别的效果，实际运用中，准确率可达75%作用。

二、项目技术理论

2.2.1人脸识别技术

  人脸识别的实质是依靠计算机图像处理技术从输入的媒体中提取人脸的特征点，再依靠生物统计学的原理进行数学模型的分析和建立，作为人脸特征模板。在检测时，使用已建立的人脸特征模板和被检测者的人脸中提取出的特征进行特征对比分析，根据分析结果得出相似度，判断是否为同一个人。
  人脸识别的方法有很多种，比如：
(1)根据人脸几何特征进行识别的方法：几何特征是指人脸上的器官如眼睛，鼻子，嘴巴等之间的距离等几何关系。这种方法的识别的速度快比较快，占用内存资源较小，但是识别率比较低。
(2)基于特征脸(PCA)的人脸识别：这种方法是将人脸从三维的空间通过投影降维到二维空间，将这些投影作为用于识别的特征矢量。这种识别的方式要求相对更多的样本用于训练，这是基于图像灰度的特征统计。
(3)基于神经网络的人脸识别：神经网络的输入包含降低分辨率的人脸图像，局部的自相关函数、局部纹理的二阶矩等。同样需要大量的训练样本。
(4)弹性图匹配的人脸识别：这个方法将人脸使用属性拓扑图代替，拓扑图上的任意一点都包含特征向，用来记录周围的信息，在匹配时允许画面存在弹性，对存在表情改变的识别中有较好效果。同时这种方法对于同一人脸只需要单个样本训练即可。
(5)线段Hausdorff 距离的人脸识别：这种方法是将人脸的灰度图像划分为不同的线段集，不需要线段集之间线段的进行一一的对应，只通过两个线段集之间的距离来识别人脸。这个方法可以在不同光照和不同的状态的情况下进行较为准确的识别，但是对于存在大表情变化的识别效果不佳。
(6)支持向量机的人脸识别：这是统计模式识别领域的一个新热点，总的来说就是将一个低维的线性不可分问题转化为一个高维的线性可分问题。这种方法需要很多的的训练样本，并且支持向量机训练时间长，目前在实际使用中还不太可能。

2.2.2本设计使用的haar分类器

  OpenCV提供了多个检测器，安装OpenCV后即可使用。
  检测器的内容主要包括Haar-like特征、积分图方法、AdaBoost、级联。Haar分类器算法使用haar-like特征进行人脸检测，使用积分图对haar-like特征求值进行加速，使用AdaBoost算法来进行强分类器的训练，用以区分人脸和非人脸，最后使用筛选的方式将强分类器级联到一起，提高准确率。

2.2.2.1 haar-like特征

  Haar(哈尔)特征的特征模板由边缘特征、线性特征、中心特征和对角线特征组合而成。特征模板内由黑色和白色两种矩形组成，特征原型如图2.2.1所示：

图2.2.1 矩形模板
  模板特征值等于白色矩形部分的像素和与和黑色的矩形部分的像素和的差。这些矩形特征能简单的对脸部的一些特征进行描述，比如：脸部的颜色相对于眼睛的更浅，鼻子比两边的颜色更浅等等。
  对于图2.2.1上的a、b、d特征数值的计算，和对c的计算公式分别为公式2.2.1和公式2.2.2
v=Σ白-Σ黑 (2.2.1)
v=Σ白-2Σ黑 (2.2.2)
  在c的特征计算中将黑色部分像素和乘以2，是为了让两种矩形部分中像素数目相等。我们希望计算当把矩形放到人脸区域时得到的特征值和计算放到非人脸区域得到的特征值之间的差距越大越好，这样就可以用来更加明显的分辨出是否是人脸。使用特征相较于单独使用像素点有更加优越的性能，更快的计算速度。
矩形特征值受矩形特征模板的类型、位置和大小的影响。矩形特征在图像上的位置、大小都可以改变的，这使得即使矩形的检测窗口非常小也会产生大量的矩形特征，比如在一个2424像素大小的检测窗口中，可以得到的矩形特征数量就能高达16万个。要计算如此庞大数量的特征，就要靠haar分类器的另一个核心了。

2.2.2.2 haar特征计算–积分图

  积分图，顾名思义是一种使用积分的思想进行计算的方式。通过积分图，图像只需要被完整的读取一遍即可求出所有位置的像素，这种算法将计算图像特征值的效率进行了很大程度的提升。
  积分图是将图像从起点开始到各个点所围成的矩形区域的像素值的和作为一个数组保存下来，当需要计算其中一个部分的像素之和时可直接在数组中搜索，不用再重新进行累加计算。积分图构建如图2.2.2所示：

图2.2.2 积分图示意
  积分图每个点的计算方式是这个点的值ii(i,j)等于这个点左上角方向上的每一个像素的值之和,比如在2.2.2中点1的值等于A区域的像素值之和，点4的值等于区域A和区域D的像素值之和，点6的值等于区域A到F的像素值之和。每个像素区域像素值为f(i,j),则每个点的值为式2.2.3：

构建积分图时，先采用每行累加的方式进行，即式2.2.4：
s(i,j)=s(i,j-1)+f(i,j) (2.2.4)
在计算每个点的值，每个点的值等于当行的累计值加上上一行该列点的值，如式2.2.5所示：
ii(i,j)=s(i,j)+ii(i-1,j) (2.2.5)
这种计算方法，目标图像只需要遍历一遍之后便可得到每个点的值。

三、系统实现

本设计是基于Python和opencv的人脸识别系统的开发，使用python+opencv调用计算机的摄像头设备获取图像，在使用opencv提供的人脸检测分类器对获得的图像中的人脸进行识别和数据获取。同时，使用Python的标准Tk GUI工具包的接口Tkinterz制作程序的用户操作界面，，最终呈现主程序界面效果如图2.1所示：

图2.1 程序主界面

2.1各功能介绍

本次人脸识别系统的设计包括数据收集及训练功能，人脸识别功能，删除数据功能，查询数据功能，以及登录、登出管理员和更改密码功能。其中，数据收集及训练，删除数据以及查询数据需要管理员权限，而登录管理员需要密码，登录后登录管理员按钮会更换为修改密码。

2.1.1 主界面

进入程序首先是主界面，并且没有管理员权限。程序开始后会先判断是否有数据，如无数据进行部分操作时会直接提示当前无数据，如图2.1.1所示：

图2.1.1 无数据
主界面设置有六个按钮，每一个按钮对应一个函数，点击按钮可调用不同功能，在无管理员权限时点击数据收集及训练、删除数据、查询数据时，会提示暂无管理员权限，如图2.1.2所示：

图2.1.2 无权限

2.1.2 数据收集及训练

登录管理员之后可以进行数据收集和训练的操作，点击按钮之后系统会首先要求输入id，判断id有效且不重复之后可进行人脸数据收集，这里检测人脸使用的是opencv提供的分类器haarcascade_frontalface_alt2.xml进行人脸检测数据收集，其中的算法和原理在下文中介绍。为了节省空间，在数据收集完成并制作为.yml数据文件之后，会删除掉之前的图像文件。最后将存入的数据id保存到list.npy文件中，方便之后的查找删除操作。本次的人脸识别系统设计，将每一个人脸数据单独存放为一个.yml文件，比起所有数据都加入同一个数据文件中，删除和查找操作更方便和清晰。

2.1.3 人脸识别

人脸识别功能是本系统中不需要管理员权限可直接运行的功能，开启功能后，程序调用计算机的摄像头，同样通过分类器haarcascade_frontalface_alt2.xml检测图像中的人脸及获取人脸数据，同时计算机读取已有的数据，将已有数据与摄像头上实时获取到的人脸数据进行对比，当对比结果判断出是已有的人脸时，在图像上显示出该人脸的信息，并显示判断正确的可能性，如图2.1.3所示：

图2.1.3 人脸识别
最后可以按esc退出人脸识别模块。

2.1.4 删除数据、查询数据

这两项操作需要管理员权限。查询数据时，可输入id，查看数据是否存在，也可直接查看所有已存在的id，在系统没有录入任何数据时，会直接提示暂无数据。删除数据时，获得管理员权限后，可以输入需要删除的数据的id，操作之后会同时删除数据文件和列表中的id，若无该id，则直接返回无此id，如图2.1.4所示：

图2.1.4 删除无效

2.1.5 管理员登录登出以及修改密码

在刚刚打开程序，进入系统时是任何人都是没有获得管理员权限的，需要点击登录管理员按钮获得，点击登录管理员之后需要输入密码进行验证，如图2.1.5所示：

图2.1.5 登录管理员输入密码

登录管理员后，可进行数据管理操作，同时登录管理员按钮更改为修改密码按钮如图2.1.6所示：

图2.1.6 登录管理员后按钮变为修改密码
此时可以修改密码。在管理员进行管理操作完成之后，需要点击登出管理员关闭管理员权限，修改密码按钮恢复为登录管理员按钮，同时管理操作无法再进行。

四、 文章目录

目 录
引言 1
1 图像处理技术
1.1图片整体提取
1.2图像数据处理
1.2.1灰度化
1.2.2浮雕化
1.2.3二值化
1.3图像检测
1.3.1边缘检测
1.3.2轮廓检测
1.3图像截取
2 基于深度学习的银行卡号自动识别算法
2.1深度学习
2.2模型结构
2.3具体模型
2.3.1 CNN模型
2.3.2 RNN模型
3 实验结果与分析
3.1数据集准备
3.2实验过程
3.3实验结果与分析
4 结束语
参考文献
致 谢
附 录