利用Hog特征和SVM分类器进行行人检测

转自 http://blog.csdn.net/carson2005/article/details/7841443

 

之前介绍过Hog特征(http://blog.csdn.net/carson2005/article/details/7782726),也介绍过SVM分类器(http://blog.csdn.net/carson2005/article/details/6453502 );而本文的目的在于介绍利用Hog特征和SVM分类器来进行行人检测。

        在2005年CVPR上,来自法国的研究人员Navneet Dalal 和Bill Triggs提出利用Hog进行特征提取,利用线性SVM作为分类器,从而实现行人检测。而这两位也通过大量的测试发现,Hog+SVM是速度和效果综合平衡性能较好的一种行人检测方法。后来,虽然很多研究人员也提出了很多改进的行人检测算法,但基本都以该算法为基础框架。因此,Hog+SVM也成为一个里程表式的算法被写入到OpenCV中。在OpenCV2.0之后的版本,都有Hog特征描述算子的API,而至于SVM,早在OpenCV1.0版本就已经集成进去了;OpenCV虽然提供了Hog和SVM的API,也提供了行人检测的sample,遗憾的是,OpenCV并没有提供样本训练的sample。这也就意味着,很多人只能用OpenCV自带的已经训练好的分类器来进行行人检测。然而,OpenCV自带的分类器是利用Navneet Dalal和Bill Triggs提供的样本进行训练的,不见得能适用于你的应用场合。因此,针对你的特定应用场景,很有必要进行重新训练得到适合你的分类器。本文的目的,正在于此。

重新训练行人检测的流程:

(1)准备训练样本集合;包括正样本集和负样本集;根据机器学习的基础知识我们知道,要利用机器学习算法进行样本训练,从而得到一个性能优良的分类器,训练样本应该是无限多的,而且训练样本应该覆盖实际应用过程中可能发生的各种情况。(很多朋友,用10来个正样本,10来个负样本进行训练,之后,就进行测试,发现效果没有想象中的那么好,就开始发牢骚,抱怨。。。对于这些人,我只能抱歉的说,对于机器学习、模式识别的认识,你还处于没有入门的阶段);实际应用过程中,训练样本不可能无限多,但无论如何,三五千个正样本,三五千个负样本,应该不是什么难事吧?(如果连这个都做不到,建议你别搞机器学习,模式识别了;训练素材都没有,怎么让机器学习到足够的信息呢?)

(2)收集到足够的训练样本之后,你需要手动裁剪样本。例如,你想用Hog+SVM来对商业步行街的监控画面中进行行人检测,那么,你就应该用收集到的训练样本集合,手动裁剪画面中的行人(可以写个简单程序,只需要鼠标框选一下,就将框选区域保存下来)。

(3)裁剪得到训练样本之后,将所有正样本放在一个文件夹中;将所有负样本放在另一个文件夹中;并将所有训练样本缩放到同样的尺寸大小。OpenCV自带的例子在训练时,就是将样本缩放为64*128进行训练的;

(4)提取所有正样本的Hog特征;

(5)提取所有负样本的Hog特征;

(6)对所有正负样本赋予样本标签;例如,所有正样本标记为1,所有负样本标记为0;

(7)将正负样本的Hog特征,正负样本的标签,都输入到SVM中进行训练;Dalal在论文中考虑到速度问题,建议采用线性SVM进行训练。这里,不妨也采用线性SVM;

(8)SVM训练之后,将结果保存为文本文件。

(9)线性SVM进行训练之后得到的文本文件里面,有一个数组,叫做support vector,还有一个数组,叫做alpha,有一个浮点数,叫做rho;将alpha矩阵同support vector相乘,注意,alpha*supportVector,将得到一个列向量。之后,再该列向量的最后添加一个元素rho。如此,变得到了一个分类器,利用该分类器,直接替换opencv中行人检测默认的那个分类器(cv::HOGDescriptor::setSVMDetector()),就可以利用你的训练样本训练出来的分类器进行行人检测了。

下面给出样本训练的参考代码:

class Mysvm: public CvSVM
{
public:
	int get_alpha_count()
	{
		return this->sv_total;
	}

	int get_sv_dim()
	{
		return this->var_all;
	}

	int get_sv_count()
	{
		return this->decision_func->sv_count;
	}

	double* get_alpha()
	{
		return this->decision_func->alpha;
	}

	float** get_sv()
	{
		return this->sv;
	}

	float get_rho()
	{
		return this->decision_func->rho;
	}
};

void Train()
{
	char classifierSavePath[256] = "c:/pedestrianDetect-peopleFlow.txt";

	string positivePath = "E:\\pictures\\train1\\pos\\";
	string negativePath = "E:\\pictures\\train1\\neg\\";

	int positiveSampleCount = 4900;
	int negativeSampleCount = 6192;
	int totalSampleCount = positiveSampleCount + negativeSampleCount;

	cout<<"//"<<endl;
	cout<<"totalSampleCount: "<<totalSampleCount<<endl;
	cout<<"positiveSampleCount: "<<positiveSampleCount<<endl;
	cout<<"negativeSampleCount: "<<negativeSampleCount<<endl;

	CvMat *sampleFeaturesMat = cvCreateMat(totalSampleCount , 1764, CV_32FC1);
	//64*128的训练样本,该矩阵将是totalSample*3780,64*64的训练样本,该矩阵将是totalSample*1764
	cvSetZero(sampleFeaturesMat);  
	CvMat *sampleLabelMat = cvCreateMat(totalSampleCount, 1, CV_32FC1);//样本标识  
	cvSetZero(sampleLabelMat);  

	cout<<"************************************************************"<<endl;
	cout<<"start to training positive samples..."<<endl;

	char positiveImgName[256];
	string path;
	for(int i=0; i<positiveSampleCount; i++)  
	{  
		memset(positiveImgName, '\0', 256*sizeof(char));
		sprintf(positiveImgName, "%d.jpg", i);
		int len = strlen(positiveImgName);
		string tempStr = positiveImgName;
		path = positivePath + tempStr;

		cv::Mat img = cv::imread(path);
		if( img.data == NULL )
		{
			cout<<"positive image sample load error: "<<i<<" "<<path<<endl;
			system("pause");
			continue;
		}

		cv::HOGDescriptor hog(cv::Size(64,64), cv::Size(16,16), cv::Size(8,8), cv::Size(8,8), 9);
		vector<float> featureVec; 

		hog.compute(img, featureVec, cv::Size(8,8));  
		int featureVecSize = featureVec.size();

		for (int j=0; j<featureVecSize; j++)  
		{  		
			CV_MAT_ELEM( *sampleFeaturesMat, float, i, j ) = featureVec[j]; 
		}  
		sampleLabelMat->data.fl[i] = 1;
	}
	cout<<"end of training for positive samples..."<<endl;

	cout<<"*********************************************************"<<endl;
	cout<<"start to train negative samples..."<<endl;

	char negativeImgName[256];
	for (int i=0; i<negativeSampleCount; i++)
	{  
		memset(negativeImgName, '\0', 256*sizeof(char));
		sprintf(negativeImgName, "%d.jpg", i);
		path = negativePath + negativeImgName;
		cv::Mat img = cv::imread(path);
		if(img.data == NULL)
		{
			cout<<"negative image sample load error: "<<path<<endl;
			continue;
		}

		cv::HOGDescriptor hog(cv::Size(64,64), cv::Size(16,16), cv::Size(8,8), cv::Size(8,8), 9);  
		vector<float> featureVec; 

		hog.compute(img,featureVec,cv::Size(8,8));//计算HOG特征
		int featureVecSize = featureVec.size();  

		for ( int j=0; j<featureVecSize; j ++)  
		{  
			CV_MAT_ELEM( *sampleFeaturesMat, float, i + positiveSampleCount, j ) = featureVec[ j ];
		}  

		sampleLabelMat->data.fl[ i + positiveSampleCount ] = -1;
	}  

	cout<<"end of training for negative samples..."<<endl;
	cout<<"********************************************************"<<endl;
	cout<<"start to train for SVM classifier..."<<endl;

	CvSVMParams params;  
	params.svm_type = CvSVM::C_SVC;  
	params.kernel_type = CvSVM::LINEAR;  
	params.term_crit = cvTermCriteria(CV_TERMCRIT_ITER, 1000, FLT_EPSILON);
	params.C = 0.01;

	Mysvm svm;
	svm.train( sampleFeaturesMat, sampleLabelMat, NULL, NULL, params ); //用SVM线性分类器训练
	svm.save(classifierSavePath);

	cvReleaseMat(&sampleFeaturesMat);
	cvReleaseMat(&sampleLabelMat);

	int supportVectorSize = svm.get_support_vector_count();
	cout<<"support vector size of SVM:"<<supportVectorSize<<endl;
	cout<<"************************ end of training for SVM ******************"<<endl;

	CvMat *sv,*alp,*re;//所有样本特征向量 
	sv  = cvCreateMat(supportVectorSize , 1764, CV_32FC1);
	alp = cvCreateMat(1 , supportVectorSize, CV_32FC1);
	re  = cvCreateMat(1 , 1764, CV_32FC1);
	CvMat *res  = cvCreateMat(1 , 1, CV_32FC1);

	cvSetZero(sv);
	cvSetZero(re);
  
	for(int i=0; i<supportVectorSize; i++)
	{
		memcpy( (float*)(sv->data.fl+i*1764), svm.get_support_vector(i), 1764*sizeof(float));	
	}

	double* alphaArr = svm.get_alpha();
	int alphaCount = svm.get_alpha_count();

	for(int i=0; i<supportVectorSize; i++)
	{
        alp->data.fl[i] = alphaArr[i];
	}
	cvMatMul(alp, sv, re);

	int posCount = 0;
	for (int i=0; i<1764; i++)
	{
		re->data.fl[i] *= -1;
	}

	FILE* fp = fopen("c:/hogSVMDetector-peopleFlow.txt","wb");
	if( NULL == fp )
	{
		return 1;
	}
	for(int i=0; i<1764; i++)
	{
		fprintf(fp,"%f \n",re->data.fl[i]);
	}
	float rho = svm.get_rho();
	fprintf(fp, "%f", rho);
	cout<<"c:/hogSVMDetector.txt 保存完毕"<<endl;//保存HOG能识别的分类器
	fclose(fp);

	return 1;
}

接着,再给出利用训练好的分类器进行行人检测的参考代码:


 

void Detect()
{
	CvCapture* cap = cvCreateFileCapture("E:\\02.avi");
	if (!cap)
	{
		cout<<"avi file load error..."<<endl;
		system("pause");
		exit(-1);
	}

	vector<float> x;
	ifstream fileIn("c:/hogSVMDetector-peopleFlow.txt", ios::in);
	float val = 0.0f;
	while(!fileIn.eof())
	{
		fileIn>>val;
		x.push_back(val);
	}
	fileIn.close();

	vector<cv::Rect>  found;
	cv::HOGDescriptor hog(cv::Size(64,64), cv::Size(16,16), cv::Size(8,8), cv::Size(8,8), 9);
	hog.setSVMDetector(x);

	IplImage* img = NULL;
	cvNamedWindow("img", 0);
	while(img=cvQueryFrame(cap))
	{
		hog.detectMultiScale(img, found, 0, cv::Size(8,8), cv::Size(32,32), 1.05, 2);
		if (found.size() > 0)
		{

			for (int i=0; i<found.size(); i++)
			{
				CvRect tempRect = cvRect(found[i].x, found[i].y, found[i].width, found[i].height);

				cvRectangle(img, cvPoint(tempRect.x,tempRect.y),
					cvPoint(tempRect.x+tempRect.width,tempRect.y+tempRect.height),CV_RGB(255,0,0), 2);
			}
		}
	}
	cvReleaseCapture(&cap);
}

 

实验说明:

  1. hog描述子在opencv中为HOGDescriptor

  2.可以调用该描述子setSVMDetector方法给用于对hog特征进行分类的svm模型的系数赋值,这里的参数为HOGDescriptor::getDefaultPeopleDetector()时表示采用系统默认的参数,因为这些参数是用很多图片训练而来的。  

  3.对输入图片进行行人检测时由于图片的大小不一样,所以要用到多尺度检测。这里是用hog类的方法detectMultiScale。参数解释如下:

HOGDescriptor::detectMultiScale(const GpuMat& img, vector<Rect>& found_locations, doublehit_threshold=0, Size win_stride=Size(), Size padding=Size(), double scale0=1.05, int group_threshold=2)

  该函数表示对输入的图片img进行多尺度行人检测 img为输入待检测的图片;found_locations为检测到目标区域列表;参数3为程序内部计算为行人目标的阈值,也就是检测到的特征到SVM分类超平面的距离;参数4为滑动窗口每次移动的距离。它必须是块移动的整数倍;参数5为图像扩充的大小;参数6为比例系数,即滑动窗口每次增加的比例;参数7为组阈值,即校正系数,当一个目标被多个窗口检测出来时,该参数此时就起了调节作用,为0时表示不起调节作用。

   4.  最后对检测出来的目标矩形框,要采用一些方法处理,比如说2个目标框嵌套着,则选择最外面的那个框。
   5.  因为hog检测出的矩形框比实际人体框要稍微大些,所以需要对这些矩形框大小尺寸做一些调整。

 

 

本人在原博客的基础上整理了博主与读者的问题与回答,如下:

提问1:对于负样本的选取您能说的详细些么?我测的是室内的视频,之前的负样本都是一些风景、街道、水果什么的,误检很多,所以我想问您,负样本应该怎么选啊,要把检测的场景加进去么?

回答1: 不仅是行人检测,任何使用机器学习的算法,任何涉及到训练的方法,基本都有两个前提假设:(1)训练样本跟最终的测试样本独立同分布;(2)训练样本的数量趋于无限;well,独立同分布,说白了,就是训练样本跟测试样本要很接近,包括环境光照,姿态,应用场合。。。而训练样本趋于无限,在实际工作中是不可能的,但是无论如何,怎么也的3,5千个样本吧。

提问2:对于负样本,是要裁剪检测场景的背景么?还有,我训练后检测时有好多误检啊,您能帮我分析下有可能是什么原因引起的呢?
回答2:训练样本有问题。能检测到,但误检很多,说明你的负样本太过单一,泛化性不强

提问3:训练出来的hogSVMDetector_peopleFlow.txt文档里面的内容是什么呢,我裁剪的是32*32的样本,训练后文档里面有一排排的数值,就像0.007656这样,但是文档的后面有好多0.000000,是正常的么?还是我的样本有问题呢?正常训练后的文档应该是什么样的呢?还有当我用这个文档去检测视频时,程序崩溃在 while(img=cvQueryFrame(cap)) ,img里面没有值,这有可能是什么原因呢?

回答3:视频捕获不正常

提问4、注释下这三 txt文件用途,pedestrianDetect-peopleFlow.txt hogSVMDetector-peopleFlow.txt hogSVMDetector.txt

回答4:一个是svm训练出来的classifier,一个是hogdescriptor需要的detector

提问5:线性SVM进行训练之后得到的文本文件里面,有一个数组,叫做support vector,还有一个数组,叫做alpha,有一个浮点数,叫做rho;将alpha矩阵同support vector相乘,注意,alpha*supportVector,将得到一个列向量。之后,再该列向量的最后添加一个元素rho。如此,变得到了一个分类器,利用该分类器,直接替换opencv中行人检测默认的那个分类器(cv::HOGDescriptor::setSVMDetector()),就可以利用你的训练样本训练出来的分类器进行行人检测了。----------------
请问楼主我用训练程序生成的txt里面怎么只有一个数组,没有support vector,alpha,rho,这些元素的区别。还是说训练完成的txt就是hog能够直接识别载入的分类器?

回答5:估计是你svm那部分的参数设置有问题,选择的不是线性svm吧

提问6:英文文献里面的detector和classfier有什么区别?

回答6:SVM训练出来的是分类器,但hogdescriptor需要的是一个detector,有区别的。建议仔细看看我的代码流程。得到分类器之后,需要稍微转换一下,就变成detector了

提问7:请问下pedestrianDetect-peopleFlow.txt里面的内容是什么,是正负样本的路径和正样本中行人的位置坐标吗?

回答7:不是坐标位置,你可能还没有完全理解分类器的相关概念。这个txt是svm训练的结果

提问8:详细讲解下detectMultiScale这个函数的工作原理

回答8:(1)多尺度滑动窗口
                  (2)每个窗口区域,提取hog特征,构成特征向量
                  (3)利用SVM分类器,对所提取的特征向量进行两类分类,判断是正样本(行人)还是负样本(非行人)

提问9:出现了float 队列内存不够用情况?这常见么?还是我哪里出问题了?大概什么问题啊?

回答9:内存不够用了的。一般来说,new一个连续的buffer之后,需要判断buffer指向的指针是否为空的。例如,int* pBuf = new int[1000000];
if(!pBuf)
{
     printf("内存申请失败")
}
 

提问10:在存取梯度特征向量时有这样一行代码:CV_MAT_ELEM( *sampleFeaturesMat, float, i, j ) = featureVec[j]; ,但是在命令行执行exe时,出现这样一个错误:i<(*sampleFeaturesMat).rows && j<(*sampleFeaturesMat).cols,然后就执行不下去了。我是新手,抱歉可能提出很幼稚的问题。sampleFeaturesMat矩阵在创建时,行是总的样本数,列是特征向量的维数,本来应该是没问题的。但是不知道为什么还出现这样的错误?

回答10:SamplefeatureMat 的下标出界了,很有可能是程序有bug,存在数组下标越界的问题。建议你仔细debug一下;看看到底是i=?,j=?的时候出错的。

补充回答10:是j越界了,程序设定的是3780,而程序跑到了15876,这哥问题,我现在还没解决,当我把它改成3870时,在检测图像的时候hog.setSVMDetector(x);
出错了,断言的错误。

提问11:选择负样本能不能在几张图上通过滑窗来选取?

回答11:可以的。但是,这种方法选择的负样本,现在不能覆盖所有的情况;用这种方法得到负样本,训练之后,得到第一个分类器,进行测试,把误报的图片添加到负样本中,重新训练,得到第二次的分类器。。。。如此反复几次,就能得到一个很好的性能.

 补充提问11:在用你这种方法训练分类器。第一个分类器在用svm.trian()已经得到了,之后我用次分类器测试负样本,把分类错误的负样本提取出来了,再加上标签继续投入,请问此时的分类器该怎么选呢?是继续用上一个svm重新写svm.trian(),只是函数里面仅是提取出的负样本及标签呢,还是需要另外重新再建一个mysvm svm2呢

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值