转自 http://blog.csdn.net/carson2005/article/details/7841443
之前介绍过Hog特征(http://blog.csdn.net/carson2005/article/details/7782726)，也介绍过SVM分类器（http://blog.csdn.net/carson2005/article/details/6453502 ）；而本文的目的在于介绍利用Hog特征和SVM分类器来进行行人检测。
在2005年CVPR上，来自法国的研究人员Navneet Dalal 和Bill Triggs提出利用Hog进行特征提取，利用线性SVM作为分类器，从而实现行人检测。而这两位也通过大量的测试发现，Hog+SVM是速度和效果综合平衡性能较好的一种行人检测方法。后来，虽然很多研究人员也提出了很多改进的行人检测算法，但基本都以该算法为基础框架。因此，Hog+SVM也成为一个里程表式的算法被写入到OpenCV中。在OpenCV2.0之后的版本，都有Hog特征描述算子的API，而至于SVM，早在OpenCV1.0版本就已经集成进去了；OpenCV虽然提供了Hog和SVM的API，也提供了行人检测的sample，遗憾的是，OpenCV并没有提供样本训练的sample。这也就意味着，很多人只能用OpenCV自带的已经训练好的分类器来进行行人检测。然而，OpenCV自带的分类器是利用Navneet Dalal和Bill Triggs提供的样本进行训练的，不见得能适用于你的应用场合。因此，针对你的特定应用场景，很有必要进行重新训练得到适合你的分类器。本文的目的，正在于此。
重新训练行人检测的流程：
（1）准备训练样本集合；包括正样本集和负样本集；根据机器学习的基础知识我们知道，要利用机器学习算法进行样本训练，从而得到一个性能优良的分类器，训练样本应该是无限多的，而且训练样本应该覆盖实际应用过程中可能发生的各种情况。（很多朋友，用10来个正样本，10来个负样本进行训练，之后，就进行测试，发现效果没有想象中的那么好，就开始发牢骚，抱怨。。。对于这些人，我只能抱歉的说，对于机器学习、模式识别的认识，你还处于没有入门的阶段）；实际应用过程中，训练样本不可能无限多，但无论如何，三五千个正样本，三五千个负样本，应该不是什么难事吧？（如果连这个都做不到，建议你别搞机器学习，模式识别了；训练素材都没有，怎么让机器学习到足够的信息呢？）
（2）收集到足够的训练样本之后，你需要手动裁剪样本。例如，你想用Hog+SVM来对商业步行街的监控画面中进行行人检测，那么，你就应该用收集到的训练样本集合，手动裁剪画面中的行人（可以写个简单程序，只需要鼠标框选一下，就将框选区域保存下来）。
（3）裁剪得到训练样本之后，将所有正样本放在一个文件夹中；将所有负样本放在另一个文件夹中；并将所有训练样本缩放到同样的尺寸大小。OpenCV自带的例子在训练时，就是将样本缩放为64*128进行训练的；
（4）提取所有正样本的Hog特征；
（5）提取所有负样本的Hog特征；
（6）对所有正负样本赋予样本标签；例如，所有正样本标记为1，所有负样本标记为0；
（7）将正负样本的Hog特征，正负样本的标签，都输入到SVM中进行训练；Dalal在论文中考虑到速度问题，建议采用线性SVM进行训练。这里，不妨也采用线性SVM；
（8）SVM训练之后，将结果保存为文本文件。
（9）线性SVM进行训练之后得到的文本文件里面，有一个数组，叫做support vector，还有一个数组，叫做alpha,有一个浮点数，叫做rho;将alpha矩阵同support vector相乘，注意，alpha*supportVector,将得到一个列向量。之后，再该列向量的最后添加一个元素rho。如此，变得到了一个分类器，利用该分类器，直接替换opencv中行人检测默认的那个分类器（cv::HOGDescriptor::setSVMDetector()），就可以利用你的训练样本训练出来的分类器进行行人检测了。
下面给出样本训练的参考代码：
class Mysvm: public CvSVM
{
public:
int get_alpha_count()
{
return this->sv_total;
}
int get_sv_dim()
{
return this->var_all;
}
int get_sv_count()
{
return this->decision_func->sv_count;
}
double* get_alpha()
{
return this->decision_func->alpha;
}
float** get_sv()
{
return this->sv;
}
float get_rho()
{
return this->decision_func->rho;
}
};
void Train()
{
char classifierSavePath[256] = "c:/pedestrianDetect-peopleFlow.txt";
string positivePath = "E:\\pictures\\train1\\pos\\";
string negativePath = "E:\\pictures\\train1\\neg\\";
int positiveSampleCount = 4900;
int negativeSampleCount = 6192;
int totalSampleCount = positiveSampleCount + negativeSampleCount;
cout<<"//"<<endl;
cout<<"totalSampleCount: "<<totalSampleCount<<endl;
cout<<"positiveSampleCount: "<<positiveSampleCount<<endl;
cout<<"negativeSampleCount: "<<negativeSampleCount<<endl;
CvMat *sampleFeaturesMat = cvCreateMat(totalSampleCount , 1764, CV_32FC1);
//64*128的训练样本，该矩阵将是totalSample*3780,64*64的训练样本，该矩阵将是totalSample*1764
cvSetZero(sampleFeaturesMat);
CvMat *sampleLabelMat = cvCreateMat(totalSampleCount, 1, CV_32FC1);//样本标识
cvSetZero(sampleLabelMat);
cout<<"************************************************************"<<endl;
cout<<"start to training positive samples..."<<endl;
char positiveImgName[256];
string path;
for(int i=0; i<positiveSampleCount; i++)
{
memset(positiveImgName, '\0', 256*sizeof(char));
sprintf(positiveImgName, "%d.jpg", i);
int len = strlen(positiveImgName);
string tempStr = positiveImgName;
path = positivePath + tempStr;
cv::Mat img = cv::imread(path);
if( img.data == NULL )
{
cout<<"positive image sample load error: "<<i<<" "<<path<<endl;
system("pause");
continue;
}
cv::HOGDescriptor hog(cv::Size(64,64), cv::Size(16,16), cv::Size(8,8), cv::Size(8,8), 9);
vector<float> featureVec;
hog.compute(img, featureVec, cv::Size(8,8));
int featureVecSize = featureVec.size();
for (int j=0; j<featureVecSize; j++)
{
CV_MAT_ELEM( *sampleFeaturesMat, float, i, j ) = featureVec[j];
}
sampleLabelMat->data.fl[i] = 1;
}
cout<<"end of training for positive samples..."<<endl;
cout<<"*********************************************************"<<endl;
cout<<"start to train negative samples..."<<endl;
char negativeImgName[256];
for (int i=0; i<negativeSampleCount; i++)
{
memset(negativeImgName, '\0', 256*sizeof(char));
sprintf(negativeImgName, "%d.jpg", i);
path = negativePath + negativeImgName;
cv::Mat img = cv::imread(path);
if(img.data == NULL)
{
cout<<"negative image sample load error: "<<path<<endl;
continue;
}
cv::HOGDescriptor hog(cv::Size(64,64), cv::Size(16,16), cv::Size(8,8), cv::Size(8,8), 9);
vector<float> featureVec;
hog.compute(img,featureVec,cv::Size(8,8));//计算HOG特征
int featureVecSize = featureVec.size();
for ( int j=0; j<featureVecSize; j ++)
{
CV_MAT_ELEM( *sampleFeaturesMat, float, i + positiveSampleCount, j ) = featureVec[ j ];
}
sampleLabelMat->data.fl[ i + positiveSampleCount ] = -1;
}
cout<<"end of training for negative samples..."<<endl;
cout<<"********************************************************"<<endl;
cout<<"start to train for SVM classifier..."<<endl;
CvSVMParams params;
params.svm_type = CvSVM::C_SVC;
params.kernel_type = CvSVM::LINEAR;
params.term_crit = cvTermCriteria(CV_TERMCRIT_ITER, 1000, FLT_EPSILON);
params.C = 0.01;
Mysvm svm;
svm.train( sampleFeaturesMat, sampleLabelMat, NULL, NULL, params ); //用SVM线性分类器训练
svm.save(classifierSavePath);
cvReleaseMat(&sampleFeaturesMat);
cvReleaseMat(&sampleLabelMat);
int supportVectorSize = svm.get_support_vector_count();
cout<<"support vector size of SVM："<<supportVectorSize<<endl;
cout<<"************************ end of training for SVM ******************"<<endl;
CvMat *sv,*alp,*re;//所有样本特征向量
sv = cvCreateMat(supportVectorSize , 1764, CV_32FC1);
alp = cvCreateMat(1 , supportVectorSize, CV_32FC1);
re = cvCreateMat(1 , 1764, CV_32FC1);
CvMat *res = cvCreateMat(1 , 1, CV_32FC1);
cvSetZero(sv);
cvSetZero(re);
for(int i=0; i<supportVectorSize; i++)
{
memcpy( (float*)(sv->data.fl+i*1764), svm.get_support_vector(i), 1764*sizeof(float));
}
double* alphaArr = svm.get_alpha();
int alphaCount = svm.get_alpha_count();
for(int i=0; i<supportVectorSize; i++)
{
alp->data.fl[i] = alphaArr[i];
}
cvMatMul(alp, sv, re);
int posCount = 0;
for (int i=0; i<1764; i++)
{
re->data.fl[i] *= -1;
}
FILE* fp = fopen("c:/hogSVMDetector-peopleFlow.txt","wb");
if( NULL == fp )
{
return 1;
}
for(int i=0; i<1764; i++)
{
fprintf(fp,"%f \n",re->data.fl[i]);
}
float rho = svm.get_rho();
fprintf(fp, "%f", rho);
cout<<"c:/hogSVMDetector.txt 保存完毕"<<endl;//保存HOG能识别的分类器
fclose(fp);
return 1;
}接着，再给出利用训练好的分类器进行行人检测的参考代码：
void Detect()
{
CvCapture* cap = cvCreateFileCapture("E:\\02.avi");
if (!cap)
{
cout<<"avi file load error..."<<endl;
system("pause");
exit(-1);
}
vector<float> x;
ifstream fileIn("c:/hogSVMDetector-peopleFlow.txt", ios::in);
float val = 0.0f;
while(!fileIn.eof())
{
fileIn>>val;
x.push_back(val);
}
fileIn.close();
vector<cv::Rect> found;
cv::HOGDescriptor hog(cv::Size(64,64), cv::Size(16,16), cv::Size(8,8), cv::Size(8,8), 9);
hog.setSVMDetector(x);
IplImage* img = NULL;
cvNamedWindow("img", 0);
while(img=cvQueryFrame(cap))
{
hog.detectMultiScale(img, found, 0, cv::Size(8,8), cv::Size(32,32), 1.05, 2);
if (found.size() > 0)
{
for (int i=0; i<found.size(); i++)
{
CvRect tempRect = cvRect(found[i].x, found[i].y, found[i].width, found[i].height);
cvRectangle(img, cvPoint(tempRect.x,tempRect.y),
cvPoint(tempRect.x+tempRect.width,tempRect.y+tempRect.height),CV_RGB(255,0,0), 2);
}
}
}
cvReleaseCapture(&cap);
}
实验说明：
1. hog描述子在opencv中为HOGDescriptor。
2.可以调用该描述子setSVMDetector方法给用于对hog特征进行分类的svm模型的系数赋值，这里的参数为HOGDescriptor::getDefaultPeopleDetector()时表示采用系统默认的参数，因为这些参数是用很多图片训练而来的。
3.对输入图片进行行人检测时由于图片的大小不一样，所以要用到多尺度检测。这里是用hog类的方法detectMultiScale。参数解释如下：
HOGDescriptor::detectMultiScale(const GpuMat& img, vector<Rect>& found_locations, doublehit_threshold=0, Size win_stride=Size(), Size padding=Size(), double scale0=1.05, int group_threshold=2)
该函数表示对输入的图片img进行多尺度行人检测 img为输入待检测的图片；found_locations为检测到目标区域列表；参数3为程序内部计算为行人目标的阈值，也就是检测到的特征到SVM分类超平面的距离;参数4为滑动窗口每次移动的距离。它必须是块移动的整数倍；参数5为图像扩充的大小；参数6为比例系数，即滑动窗口每次增加的比例；参数7为组阈值，即校正系数，当一个目标被多个窗口检测出来时，该参数此时就起了调节作用，为0时表示不起调节作用。
4. 最后对检测出来的目标矩形框，要采用一些方法处理，比如说2个目标框嵌套着，则选择最外面的那个框。 5. 因为hog检测出的矩形框比实际人体框要稍微大些,所以需要对这些矩形框大小尺寸做一些调整。
本人在原博客的基础上整理了博主与读者的问题与回答，如下：
提问1：对于负样本的选取您能说的详细些么？我测的是室内的视频，之前的负样本都是一些风景、街道、水果什么的，误检很多，所以我想问您，负样本应该怎么选啊，要把检测的场景加进去么？
回答1： 不仅是行人检测，任何使用机器学习的算法，任何涉及到训练的方法，基本都有两个前提假设：（1）训练样本跟最终的测试样本独立同分布；（2）训练样本的数量趋于无限；well,独立同分布，说白了，就是训练样本跟测试样本要很接近，包括环境光照，姿态，应用场合。。。而训练样本趋于无限，在实际工作中是不可能的，但是无论如何，怎么也的3，5千个样本吧。
提问2：对于负样本，是要裁剪检测场景的背景么？还有，我训练后检测时有好多误检啊，您能帮我分析下有可能是什么原因引起的呢？
回答2：训练样本有问题。能检测到，但误检很多，说明你的负样本太过单一，泛化性不强
提问3：训练出来的hogSVMDetector_peopleFlow.txt文档里面的内容是什么呢，我裁剪的是32*32的样本，训练后文档里面有一排排的数值，就像0.007656这样，但是文档的后面有好多0.000000，是正常的么？还是我的样本有问题呢？正常训练后的文档应该是什么样的呢？还有当我用这个文档去检测视频时，程序崩溃在 while(img=cvQueryFrame(cap)) ，img里面没有值，这有可能是什么原因呢？
回答3：视频捕获不正常
提问4、注释下这三 txt文件用途，pedestrianDetect-peopleFlow.txt hogSVMDetector-peopleFlow.txt hogSVMDetector.txt
回答4：一个是svm训练出来的classifier，一个是hogdescriptor需要的detector
提问5：线性SVM进行训练之后得到的文本文件里面，有一个数组，叫做support vector，还有一个数组，叫做alpha,有一个浮点数，叫做rho;将alpha矩阵同support vector相乘，注意，alpha*supportVector,将得到一个列向量。之后，再该列向量的最后添加一个元素rho。如此，变得到了一个分类器，利用该分类器，直接替换opencv中行人检测默认的那个分类器（cv::HOGDescriptor::setSVMDetector()），就可以利用你的训练样本训练出来的分类器进行行人检测了。----------------
请问楼主我用训练程序生成的txt里面怎么只有一个数组，没有support vector，alpha,rho，这些元素的区别。还是说训练完成的txt就是hog能够直接识别载入的分类器？
回答5：估计是你svm那部分的参数设置有问题，选择的不是线性svm吧
提问6：英文文献里面的detector和classfier有什么区别？
回答6：SVM训练出来的是分类器，但hogdescriptor需要的是一个detector，有区别的。建议仔细看看我的代码流程。得到分类器之后，需要稍微转换一下，就变成detector了
提问7：请问下pedestrianDetect-peopleFlow.txt里面的内容是什么，是正负样本的路径和正样本中行人的位置坐标吗？
回答7:不是坐标位置，你可能还没有完全理解分类器的相关概念。这个txt是svm训练的结果
提问8：详细讲解下detectMultiScale这个函数的工作原理
回答8：（1）多尺度滑动窗口
（2）每个窗口区域，提取hog特征，构成特征向量
（3）利用SVM分类器，对所提取的特征向量进行两类分类，判断是正样本（行人）还是负样本（非行人）
提问9：出现了float 队列内存不够用情况？这常见么？还是我哪里出问题了？大概什么问题啊？
回答9：内存不够用了的。一般来说，new一个连续的buffer之后，需要判断buffer指向的指针是否为空的。例如，int* pBuf = new int[1000000];
if(!pBuf)
{
printf("内存申请失败")
}
提问10：在存取梯度特征向量时有这样一行代码：CV_MAT_ELEM( *sampleFeaturesMat, float, i, j ) = featureVec[j]; ，但是在命令行执行exe时，出现这样一个错误：i<(*sampleFeaturesMat).rows && j<(*sampleFeaturesMat).cols，然后就执行不下去了。我是新手，抱歉可能提出很幼稚的问题。sampleFeaturesMat矩阵在创建时，行是总的样本数，列是特征向量的维数，本来应该是没问题的。但是不知道为什么还出现这样的错误？
回答10：SamplefeatureMat 的下标出界了，很有可能是程序有bug,存在数组下标越界的问题。建议你仔细debug一下；看看到底是i=?,j=?的时候出错的。
补充回答10：是j越界了，程序设定的是3780，而程序跑到了15876，这哥问题，我现在还没解决，当我把它改成3870时，在检测图像的时候hog.setSVMDetector(x);
出错了，断言的错误。
提问11：选择负样本能不能在几张图上通过滑窗来选取？
回答11：可以的。但是，这种方法选择的负样本，现在不能覆盖所有的情况；用这种方法得到负样本，训练之后，得到第一个分类器，进行测试，把误报的图片添加到负样本中，重新训练，得到第二次的分类器。。。。如此反复几次，就能得到一个很好的性能.
补充提问11：在用你这种方法训练分类器。第一个分类器在用svm.trian()已经得到了，之后我用次分类器测试负样本，把分类错误的负样本提取出来了，再加上标签继续投入，请问此时的分类器该怎么选呢？是继续用上一个svm重新写svm.trian()，只是函数里面仅是提取出的负样本及标签呢，还是需要另外重新再建一个mysvm svm2呢
扫一扫
1345
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
