（学习笔记二）——基于opencv人脸检测原理及实现

最近搞了几天的人脸检测，终于把大体框架和原理搞清楚了，现在写出来供大家学习之用，如有不对之处，还请大家指正。也希望大家在学习opencv的过程中能将学习过程及重点记录下来，以博客的形式分析，毕竟opencv的教材还不太多，我们自己学习大部分要靠网上的资料。通过博客分享的形式能使大家快速进步，同时也算是对自己学习的一个记录和总结。只是一个倡议，大家自己决定，呵呵。
好了进入正题。
学习基于opencv的人脸检测，首先要理清大概需要做哪些事情。这里总共分两步，第一步就是训练分类器，第二步就是利用训练好的分类器进行人脸检测。
1、训练分类器
训练分类器我没有学习，因为opencv的源代码中（opencv安装目录\data\haarcascades）中已经有了很多训练好的分类器供我们使用。但是有必要对分类器的训练原理和过程做一些介绍，以便后面进一步的学习中能够对这部分有一定了解。
目前人脸检测分类器大都是基于haar特征利用Adaboost学习算法训练的。

目标检测方法最初由Paul Viola [Viola01]提出，并由Rainer Lienhart [Lienhart02]对这一方法进行了改善. 首先，利用样本（大约几百幅样本图片）的 harr 特征进行分类器训练，得到一个级联的boosted分类器。训练样本分为正例样本和反例样本，其中正例样本是指待检目标样本(例如人脸或汽车等)，反例样本指其它任意图片，所有的样本图片都被归一化为同样的尺寸大小(例如，20x20)。

分类器训练完以后，就可以应用于输入图像中的感兴趣区域(与训练样本相同的尺寸)的检测。检测到目标区域(汽车或人脸)分类器输出为1，否则输出为0。为了检测整副图像，可以在图像中移动搜索窗口，检测每一个位置来确定可能的目标。 为了搜索不同大小的目标物体，分类器被设计为可以进行尺寸改变，这样比改变待检图像的尺寸大小更为有效。所以，为了在图像中检测未知大小的目标物体，扫描程序通常需要用不同比例大小的搜索窗口对图片进行几次扫描。

分类器中的“级联”是指最终的分类器是由几个简单分类器级联组成。在图像检测中，被检窗口依次通过每一级分类器， 这样在前面几层的检测中大部分的候选区域就被排除了，全部通过每一级分类器检测的区域即为目标区域。 目前支持这种分类器的boosting技术有四种： Discrete Adaboost, Real Adaboost, Gentle Adaboost and Logitboost。"boosted" 即指级联分类器的每一层都可以从中选取一个boosting算法(权重投票)，并利用基础分类器的自我训练得到。基础分类器是至少有两个叶结点的决策树分类器。 Haar特征是基础分类器的输入，主要描述如下。目前的算法主要利用下面的Harr特征。

每个特定分类器所使用的特征用形状、感兴趣区域中的位置以及比例系数（这里的比例系数跟检测时候采用的比例系数是不一样的，尽管最后会取两个系数的乘积值）来定义。例如在第二行特征(2c)的情况下，响应计算为复盖全部特征整个矩形框(包括两个白色矩形框和一个黑色矩形框)象素的和减去黑色矩形框内象素和的三倍 。每个矩形框内的象素和都可以通过积分图象很快的计算出来。

通过上述陈述，应该对整个训练过程有个大概的了解，但是对于训练的具体过程还是不太明晰，那么可以继续参考下面的文章：
http://apps.hi.baidu.com/share/detail/44451430
相信看过上面这篇文章以及前面的陈述后大家应该对分类器的训练原理有了一个整体的了解，至于一些细节如果还不清晰应该不影响使用，毕竟那些细节可能需要数字图像处理的专业知识。

2、利用分类器进行检测
前面也已经说过，opencv的源代码中已经给我们提供了一些训练好的分类器，例如人脸检测分类器，人体检测分类器等。那么如果没有什么特定的需要，我们完全可以利用这些分类器直接进行人脸及人体检测。

对于分类器的使用大致要经过三个阶段，从文件中加载分类器、利用分类器进行检测、检测完成后释放分类器。这三个阶段对应三个函数，cvLoadHaarClassifierCascade、cvHaarDetectObjects、cvReleaseHaarClassifierCascade。这三个函数包含在库文件opencv_objdetect231d.lib中，为了使用，需要在（以vs2008为例）项目-属性-配置属性-链接器-输入，附加依赖项中添加相应的库文件，即opencv_objdetect231d.lib。三个函数原型及参数意义如下：
a、CvHaarClassifierCascade* cvLoadHaarClassifierCascade(const char* directory,cvSize orig_window_size);
directory
训练好的分类器路径
orig_window_size
级联分类器训练中采用的检测目标的尺寸。这个信息在分类器中没有存储，因此要单独指出。
函数 cvLoadHaarClassifierCascade 用于从文件中装载训练好的利用哈尔特征的级联分类器，或者从OpenCV中嵌入的分类器数据库中导入。分类器的训练可以应用函数haartraining(详细察看opencv/apps/haartraining) 这个数值是在训练分类器时就确定好的，修改它并不能改变检测的范围或精度。
需要注意的是，这个函数已经过时了。现在的目标检测分类器通常存储在 XML 或 YAML 文件中,而不是通过路径导入。从文件中导入分类器，可以使用函数 cvLoad 。
b、CvSeq* cvHaarDetectObjects(const CvArr* image, CvHaarClassifierCascade* cascade,CvMemStorage* storage,double scale_factor=1.1,int min_neighbors=3,int flags=0,CvSize min_size=cvSize(0,0) );

image

被检图像

cascade

harr 分类器级联的内部标识形式

storage 用来存储检测到的一序列候选目标矩形框的内存区域。 scale_factor

在前后两次相继的扫描中，搜索窗口的比例系数。例如1.1指将搜索窗口依次扩大10%。

min_neighbors

构成检测目标的相邻矩形的最小个数(缺省－1)。如果组成检测目标的小矩形的个数和小于min_neighbors-1 都会被排除。如果min_neighbors 为 0, 则函数不做任何操作就返回所有的被检候选矩形框，这种设定值一般用在用户自定义对检测结果的组合程序上。

flags

操作方式。当前唯一可以定义的操作方式是 CV_HAAR_DO_CANNY_PRUNING。如果被设定，函数利用Canny边缘检测器来排除一些边缘很少或者很多的图像区域，因为这样的区域一般不含被检目标。人脸检测中通过设定阈值使用了这种方法，并因此提高了检测速度。

min_size

检测窗口的最小尺寸。缺省的情况下被设为分类器训练时采用的样本尺寸(人脸检测中缺省大小是~20×20)。

函数 cvHaarDetectObjects 使用针对某目标物体训练的级联分类器在图像中找到包含目标物体的矩形区域，并且将这些区域作为一序列的矩形框返回。函数以不同比例大小的扫描窗口对图像进行几次搜索(察看cvSetImagesForHaarClassifierCascade)。 每次都要对图像中的这些重叠区域利用cvRunHaarClassifierCascade进行检测。 有时候也会利用某些继承（heuristics）技术以减少分析的候选区域，例如利用 Canny 裁减 （prunning）方法。 函数在处理和收集到候选的方框(全部通过级联分类器各层的区域)之后，接着对这些区域进行组合并且返回一系列各个足够大的组合中的平均矩形。调节程序中的缺省参数(scale_factor=1.1, min_neighbors=3, flags=0)用于对目标进行更精确同时也是耗时较长的进一步检测。为了能对视频图像进行更快的实时检测，参数设置通常是：scale_factor=1.2, min_neighbors=2, flags=CV_HAAR_DO_CANNY_PRUNING, min_size=<minimum possible face size> (例如, 对于视频会议的图像区域)。
c、void cvReleaseHaarClassifierCascade(CvHaarClassifierCascade** cascade);

#include "cv.h"
#include "highgui.h"
#include <stdio.h>

void displaydetection(IplImage* pInpImg,CvSeq* pFaceRectSeq,char* FileName);

int main(int argc,char** argv)
{
	IplImage* pInpImg=0;
	CvHaarClassifierCascade* pCascade=0;		//指向后面从文件中获取的分类器
	CvMemStorage* pStorage=0;					//存储检测到的人脸数据
	CvSeq* pFaceRectSeq;						//用来接收检测函数返回的一系列的包含人脸的矩形区域
	
	if (argc<2)
	{
		printf("missing name of image file!\n");
		return -1;
	}

	//初始化
	pInpImg=cvLoadImage(argv[1],1);	
	pStorage=cvCreateMemStorage(0);				//创建默认大先64k的动态内存区域
	pCascade=(CvHaarClassifierCascade*)cvLoad("haarcascade_frontalface_alt.xml");		//加载分类器

	if (!pInpImg||!pStorage||!pCascade)
	{
		printf("initialization failed:%s\n",(!pInpImg)?"can't load image file":(!pCascade)?"can't load haar-cascade---make sure path is correct":"unable to allocate memory for data storage",argv[1]);
		return -1;
	}
	//人脸检测
	pFaceRectSeq=cvHaarDetectObjects(pInpImg,pCascade,pStorage,
		1.2,2,CV_HAAR_DO_CANNY_PRUNING,cvSize(40,40));
	//将检测到的人脸以矩形框标出。
	displaydetection(pInpImg,pFaceRectSeq,argv[1]);

	cvReleaseImage(&pInpImg);
	cvReleaseHaarClassifierCascade(&pCascade);
	cvReleaseMemStorage(&pStorage);
	return 0;
}

void displaydetection(IplImage* pInpImg,CvSeq* pFaceRectSeq,char* FileName)
{
	int i;
	cvNamedWindow("haar window",1);
	printf("the number of face is %d",pFaceRectSeq->total);
	for (i=0;i<(pFaceRectSeq?pFaceRectSeq->total:0);i++)
	{
		CvRect* r=(CvRect*)cvGetSeqElem(pFaceRectSeq,i);
		CvPoint pt1={r->x,r->y};
		CvPoint pt2={r->x+r->width,r->y+r->height};

//		cvSetImageROI(pInpImg,*r);
//		IplImage* dst=cvCreateImage(cvSize(92,112),pInpImg->depth,pInpImg->nChannels);
//		cvResize(pInpImg,dst,CV_INTER_LINEAR);
//		cvSaveImage("lian.jpg",dst);
		cvRectangle(pInpImg,pt1,pt2,CV_RGB(0,255,0),3,4,0);
	}
	cvShowImage("haar window",pInpImg);
//	cvResetImageROI(pInpImg);
	cvWaitKey(0);
	cvDestroyWindow("haar window");
}

cascade
双指针类型指针指向要释放的cascade. 指针由函数声明。
函数 cvReleaseHaarClassifierCascade 释放cascade的动态内存，其中cascade的动态内存或者是手工创建，或者通过函数 cvLoadHaarClassifierCascade 或 cvLoad分配。
三个主要函数介绍完之后，就可以看程序了，毕竟通过程序学函数和用法是最快的（个人觉得）。

通过上面的程序可以实现在一张图片中检测出人脸，并用矩形框标出。到此就完成了人脸检测。下一篇文章将对人脸识别进行介绍。