本文转载自博主yangdeshun888的博客,转侵删。原文链接
(转载过程中发现显示有错误之处,影响阅读请戳上文链接跳转原文。)
提供一个人脸检测的训练工程,其里面包括原始的训练样本、制作好的训练样本、训练指令等,感觉其样本分类特别麻烦其下载地址为:
opencv使用cascade分类器训练人脸检测的样本与相关文件
1 、opencv里的分类器大概介绍:
OpenCV中有两个程序可以训练级联分类器: opencv_haartraining and opencv_traincascade``。 ``opencv_traincascade 是一个新程序,使用OpenCV 2.x API 以C++ 编写。这二者主要的区别是 opencv_traincascade 支持 Haar [Viola2001] 和 LBP [Liao2007] (Local Binary Patterns) 两种特征,现在已经发展到可以支持hog特征,并易于增加其他的特征。与Haar特征相比,LBP特征是整数特征,因此训练和检测过程都会比Haar特征快几倍。LBP和Haar特征用于检测的准确率,是依赖训练过程中的训练数据的质量和训练参数。训练一个与基于Haar特征同样准确度的LBP的分类器是可能的。
2、分类器的样本制作:
其样本点的制作主要是指正样本的制作,因为其负样本制作很简单,只要把其图片的相对路径生成到文件里即可用于训练,其如下:
使用这个指令生成的路径是绝对路径,其生成后需要把绝对路径给替换掉即可。使用的指令为:
dir /b/s/p/w *.jpg > positives.txt
注意:负样本的图片大小可以不用进行归一化成统一大小,因为其在训练的时候可以进行指定大小,训练时会进行图像resize操作。
接着就是正样本的生成,其是比较重要的。其中正样本的样本采集有两种方法:
A、只通过一张正样本图片,结合负样本进行其他正样本的生成。这种方法比较适合刚性的物体,即正样本目标不会变形,所以要对其进行样本采集比较困难,例如交通LOGO牌,无法对其进行变形采用。这种情况可以通过图像手段来对其进行一些图像预处理操作,从而产生样本。其使用的指令是:
其要使用 【-img】参数来指明单张正样本,其中的【num】是指通过这一张正样本要生成的样本数量,其是通过负样本结合来生成的,负样本主要是给旋转等操作后的正样本提供背景。他会在生成样本的同时直接生成vec文件。
注意:其中更好的生成样本的工具代码是:opencv-haar-classifier-training 其使用脚本来调用opencv_createsamples.exe进行样本的生成,而且也可以顺路生成vec文件,真的超方便。
B、通过人为采集所有训练样本。其中正样本的txt文件格式如下,其中文件路径后面的格式是在指令生成后自己手动替换得到的:
其指令如下:
此时提供的是包含所有的正样本路径的txt文件,其生成可以参考上面的方法。此时这里设置的x、y、z三轴旋角等一些数据增城的参数是不会被采用的,其只有上面A单张样本是才使用这些参数。其中的【-num】的只要小于或等于正样本的指,否则会报错。
注意:这是把所有目标都裁剪下来的处理方式,而且需要进行样本归一化。还有一种就是使用工具在整张图片上进行正样本标注,其可以使用ObjectMarker工具。具体过程参考博客:基于级联分类器的多目标检测
3、级联分类器的训练:
但样本都准备好后,其训练指令为:
-
opencv_traincascade -data classifier -vec pos.vec -bg negatives.txt -numStages
20 -minHitRate
0.999 -maxFalseAlarmRate
0.5 -numPos
14000 -numNeg
10000 -w
20 -h
20 -mode ALL -precalcValBufSize
1024 -precalcIdxBufSize
1024 -featureType LBP
-
pause
通用参数:
-data <cascade_dir_name>
目录名,如不存在训练程序会创建它,用于存放训练好的分类器。
-vec <vec_file_name>
包含正样本的vec文件名(由 opencv_createsamples 程序生成)。
-bg <background_file_name>
背景描述文件,也就是包含负样本文件名的那个描述文件。
-numPos <number_of_positive_samples>
每级分类器训练时所用的正样本数目。其指设置为正样本数量的85%(这是一个保守值)。具体的也要根据级联器的层数来决定的。因为每个stages都是会增加图片数量来进行分类。
-numNeg <number_of_negative_samples>
每级分类器训练时所用的负样本数目,可以大于 -bg 指定的图片数目。
-numStages <number_of_stages>
训练的分类器的级数。
-precalcValBufSize <precalculated_vals_buffer_size_in_Mb>
缓存大小,用于存储预先计算的特征值(feature values),单位为MB。
-precalcIdxBufSize <precalculated_idxs_buffer_size_in_Mb>
缓存大小,用于存储预先计算的特征索引(feature indices),单位为MB。内存越大,训练时间越短。
-baseFormatSave
这个参数仅在使用Haar特征时有效。如果指定这个参数,那么级联分类器将以老的格式存储。
级联参数:
-stageType <BOOST(default)>
级别(stage)参数。目前只支持将BOOST分类器作为级别的类型。
-featureType<{HAAR(default), LBP}>
特征的类型: HAAR - 类Haar特征; LBP - 局部纹理模式特征。
-w <sampleWidth>
-h <sampleHeight>
训练样本的尺寸(单位为像素)。必须跟训练样本创建(使用 opencv_createsamples 程序创建)时的尺寸保持一致。
Boosted分类器参数:
-bt <{DAB, RAB, LB, GAB(default)}>
Boosted分类器的类型: DAB - Discrete AdaBoost, RAB - Real AdaBoost, LB - LogitBoost, GAB - Gentle AdaBoost。
-minHitRate <min_hit_rate>
分类器的每一级希望得到的最小检测率。总的检测率大约为 min_hit_rate^number_of_stages。总检测率即为整个级联器的检测召回率,
-maxFalseAlarmRate <max_false_alarm_rate>
分类器的每一级希望得到的最大误检率。总的误检率大约为 max_false_alarm_rate^number_of_stages. 为整个级联器的误检率
-weightTrimRate <weight_trim_rate>
Specifies whether trimming should be used and its weight. 一个还不错的数值是0.95。
-maxDepth <max_depth_of_weak_tree>
弱分类器树最大的深度。一个还不错的数值是1,是二叉树(stumps)。
-maxWeakCount <max_weak_tree_count>
每一级中的弱分类器的最大数目。The boosted classifier (stage) will have so many weak trees (<=maxWeakCount), as needed to achieve the given -maxFalseAlarmRate.
类Haar特征参数:
-mode <BASIC (default) | CORE | ALL>
选择训练过程中使用的Haar特征的类型。 BASIC 只使用右上特征, ALL 使用所有右上特征和45度旋转特征。
此时训练的结果图:
注意:由于是20stages,所以训练时间要三四个钟,其中采用LBP特征会比Haar特征快十几倍的训练速度。还有如果想把检测准确度提高很高,则需要大量的样本和好的图像质量。
4、中断后,如果不行在继续训练,如何通过先前的中间文件来生产分类器文件cascade.xml?
方法:此时需要修改训练指令的【-numStages】将其设置成已有的states的层数,则其则会生成上面的检测文件xml。其如下:
至此已经训练完成,并得到cascade.xml检测文件,接下来就是如何使用这个文件用于人脸检测,其方法是使用opencv3书里提供的人脸检测例子,只要替换相应的xml文件即可,如下:
-
//---------------------------------【头文件、命名空间包含部分】----------------------------
-
// 描述:包含程序所使用的头文件和命名空间
-
//-------------------------------------------------------------------------------------------------
-
#include "opencv2/objdetect/objdetect.hpp"
-
#include "opencv2/highgui/highgui.hpp"
-
#include "opencv2/imgproc/imgproc.hpp"
-
#include "opencv2/imgproc/imgproc.hpp"
-
#include <iostream>
-
#include <stdio.h>
-
-
using
namespace
std;
-
using
namespace cv;
-
-
-
-
-
void detectAndDisplay( Mat frame );
-
-
//--------------------------------【全局变量声明】----------------------------------------------
-
// 描述:声明全局变量
-
//-------------------------------------------------------------------------------------------------
-
//注意,需要把"haarcascade_frontalface_alt.xml"和"haarcascade_eye_tree_eyeglasses.xml"这两个文件复制到工程路径下
-
String face_cascade_name =
"cascade.xml";
-
String eyes_cascade_name =
"haarcascade_eye_tree_eyeglasses.xml";
-
CascadeClassifier face_cascade;
-
CascadeClassifier eyes_cascade;
-
string window_name =
"Capture - Face detection";
-
RNG rng(12345);
-
-
-
//-----------------------------------【main( )函数】--------------------------------------------
-
// 描述:控制台应用程序的入口函数,我们的程序从这里开始
-
//-------------------------------------------------------------------------------------------------
-
int main( void )
-
{
-
VideoCapture capture;
-
Mat frame;
-
-
-
//-- 1. 加载级联(cascades)
-
if( !face_cascade.load( face_cascade_name ) ){
printf(
"--(!)Error loading\n");
return
-1; };
-
if( !eyes_cascade.load( eyes_cascade_name ) ){
printf(
"--(!)Error loading\n");
return
-1; };
-
-
//-- 2. 读取视频
-
capture.open(
0);
-
if( capture.isOpened() )
-
{
-
for(;;)
-
{
-
capture >> frame;
-
-
if( !frame.empty() )
-
{ detectAndDisplay( frame ); }
-
else
-
{
printf(
" --(!) No captured frame -- Break!");
break; }
-
-
int c = waitKey(
10);
-
if( (
char)c ==
'c' ) {
break; }
-
-
}
-
}
-
return
0;
-
}
-
-
-
void detectAndDisplay( Mat frame )
-
{
-
std::
vector<Rect> faces;
-
Mat frame_gray;
-
-
cvtColor( frame, frame_gray, COLOR_BGR2GRAY );
-
equalizeHist( frame_gray, frame_gray );
-
//-- 人脸检测
-
face_cascade.detectMultiScale( frame_gray, faces,
1.1,
3,
0| cv::CASCADE_SCALE_IMAGE, Size(
20,
20) );
-
-
for(
size_t i =
0; i < faces.size(); i++ )
-
{
-
Point center( faces[i].x + faces[i].width/2, faces[i].y + faces[i].height/2 );
-
-
ellipse( frame, center, Size( faces[i].width/
2, faces[i].height/
2),
0,
0,
360, Scalar(
255,
0,
255 ),
2,
8,
0 );
-
-
Mat faceROI = frame_gray( faces[i] );
-
std::
vector<Rect> eyes;
-
-
//-- 在脸中检测眼睛
-
eyes_cascade.detectMultiScale( faceROI, eyes,
1.1,
2,
0 |CV_HAAR_SCALE_IMAGE, Size(
30,
30) );
-
-
for(
size_t j =
0; j < eyes.size(); j++ )
-
{
-
Point eye_center( faces[i].x + eyes[j].x + eyes[j].width/2, faces[i].y + eyes[j].y + eyes[j].height/2 );
-
int radius = cvRound( (eyes[j].width + eyes[j].height)*
0.25 );
-
circle( frame, eye_center, radius, Scalar(
255,
0,
0 ),
3,
8,
0 );
-
}
-
}
-
//-- 显示最终效果图
-
imshow( window_name, frame );
-
}
"cascade.xml";
String eyes_cascade_name = "haarcascade_eye_tree_eyeglasses.xml";
CascadeClassifier face_cascade;
CascadeClassifier eyes_cascade;
string window_name = "Capture - Face detection";
RNG rng(12345);
//-----------------------------------【main( )函数】--------------------------------------------
// 描述:控制台应用程序的入口函数,我们的程序从这里开始
//-------------------------------------------------------------------------------------------------
int main( void )
{
VideoCapture capture;
Mat frame;
//-- 1. 加载级联(cascades)
if( !face_cascade.load( face_cascade_name ) ){ printf("–(!)Error loading\n"); return -1; };
if( !eyes_cascade.load( eyes_cascade_name ) ){ printf("–(!)Error loading\n"); return -1; };
//-- 2. 读取视频
capture.open(0);
if( capture.isOpened() )
{
for( ; ; )
{
capture >> frame;
if( !frame.empty() )
{ detectAndDisplay( frame ); }
else
{ printf(" --(!) No captured frame -- Break!"); break; }
int c = waitKey(10);
if( (char)c == 'c' ) { break; }
}
}
return 0;
}
void detectAndDisplay( Mat frame )
{
std::vector<Rect> faces;
Mat frame_gray;
cvtColor( frame, frame_gray, COLOR_BGR2GRAY );
equalizeHist( frame_gray, frame_gray );
//-- 人脸检测
face_cascade.detectMultiScale( frame_gray, faces, 1.1, 3, 0| cv::CASCADE_SCALE_IMAGE, Size(20, 20) );
for( size_t i = 0; i < faces.size(); i++ )
{
Point center( faces[i].x + faces[i].width/2, faces[i].y + faces[i].height/2 );
ellipse( frame, center, Size( faces[i].width/2, faces[i].height/2), 0, 0, 360, Scalar( 255, 0, 255 ), 2, 8, 0 );
Mat faceROI = frame_gray( faces[i] );
std::vector<Rect> eyes;
//-- 在脸中检测眼睛
eyes_cascade.detectMultiScale( faceROI, eyes, 1.1, 2, 0 |CV_HAAR_SCALE_IMAGE, Size(30, 30) );
for( size_t j = 0; j < eyes.size(); j++ )
{
Point eye_center( faces[i].x + eyes[j].x + eyes[j].width/2, faces[i].y + eyes[j].y + eyes[j].height/2 );
int radius = cvRound( (eyes[j].width + eyes[j].height)*0.25 );
circle( frame, eye_center, radius, Scalar( 255, 0, 0 ), 3, 8, 0 );
}
}
//-- 显示最终效果图
imshow( window_name, frame );
}