OpenCV学习笔记（二十六）——小试SVM算法ml OpenCV学习笔记（二十七）——基于级联分类器的目标检测objdect OpenCV学习笔记（二十八）——光流法对运动目标跟踪Video Ope

OpenCV学习笔记（二十六）——小试SVM算法ml 

总感觉自己停留在码农的初级阶段，要想更上一层，就得静下心来，好好研究一下算法的东西。OpenCV作为一个计算机视觉的开源库，肯定不会只停留在数字图像处理的初级阶段，我也得加油，深入研究它的算法库。就从ml入手吧，最近做东西遇到随机森林，被搞的头大，深深感觉自己肚子里货太少，关键时刻调不出东西来。切勿浮躁，一点点研究吧。

这次就先介绍一下机器学习中的一个常用算法SVM算法，即支持向量机Support Vector Machine（SVM），是一种有监督学习方法，更多介绍请见维基百科http://zh.wikipedia.org/wiki/SVM。

OpenCV开发SVM算法是基于LibSVM软件包开发的，LibSVM是台湾大学林智仁(Lin Chih-Jen)等开发设计的一个简单、易于使用和快速有效的SVM模式识别与回归的软件包。用OpenCV使用SVM算法的大概流程是

1）设置训练样本集

需要两组数据，一组是数据的类别，一组是数据的向量信息。

2）设置SVM参数

利用CvSVMParams类实现类内的成员变量svm_type表示SVM类型：

CvSVM：：C_SVC  C-SVC

CvSVM：：NU_SVC v-SVC

CvSVM：：ONE_CLASS 一类SVM

CvSVM：：EPS_SVR e-SVR

CvSVM：：NU_SVR v-SVR

成员变量kernel_type表示核函数的类型：

CvSVM：：LINEAR 线性：u‘v

CvSVM：：POLY 多项式：(r*u'v + coef0)^degree

CvSVM：：RBF RBF函数：exp(-r|u-v|^2)

CvSVM：：SIGMOID sigmoid函数：tanh(r*u'v + coef0)

成员变量degree针对多项式核函数degree的设置，gamma针对多项式/rbf/sigmoid核函数的设置，coef0针对多项式/sigmoid核函数的设置，Cvalue为损失函数，在C-SVC、e-SVR、v-SVR中有效，nu设置v-SVC、一类SVM和v-SVR参数，p为设置e-SVR中损失函数的值，class_weightsC_SVC的权重，term_crit为SVM训练过程的终止条件。其中默认值degree = 0，gamma = 1，coef0 = 0，Cvalue = 1，nu = 0，p = 0，class_weights = 0

3）训练SVM

调用CvSVM：：train函数建立SVM模型，第一个参数为训练数据，第二个参数为分类结果，最后一个参数即CvSVMParams

4）用这个SVM进行分类

调用函数CvSVM：：predict实现分类

5）获得支持向量

除了分类，也可以得到SVM的支持向量，调用函数CvSVM：：get_support_vector_count获得支持向量的个数，CvSVM：：get_support_vector获得对应的索引编号的支持向量。

实现代码如下：

[cpp] view plain copy

1. // step 1:  
2. float labels[4] = {1.0, -1.0, -1.0, -1.0};  
3. Mat labelsMat(3, 1, CV_32FC1, labels);  
4.   
5. float trainingData[4][2] = { {501, 10}, {255, 10}, {501, 255}, {10, 501} };  
6. Mat trainingDataMat(3, 2, CV_32FC1, trainingData);  
7.   
8. // step 2:  
9. CvSVMParams params;  
10. params.svm_type = CvSVM::C_SVC;  
11. params.kernel_type = CvSVM::LINEAR;  
12. params.term_crit = cvTermCriteria(CV_TERMCRIT_ITER, 100, 1e-6);  
13.   
14. // step 3:  
15. CvSVM SVM;  
16. SVM.train(trainingDataMat, labelsMat, Mat(), Mat(), params);  
17.   
18. // step 4:  
19. Vec3b green(0, 255, 0), blue(255, 0, 0);  
20. for (int i=0; i<image.rows; i++)  
21. {  
22.     for (int j=0; j<image.cols; j++)  
23.     {  
24.         Mat sampleMat = (Mat_<float>(1,2) << i,j);  
25.         float response = SVM.predict(sampleMat);  
26.   
27.         if (fabs(response-1.0) < 0.0001)  
28.         {  
29.             image.at<Vec3b>(j, i) = green;  
30.         }  
31.         else if (fabs(response+1.0) < 0.001)  
32.         {  
33.             image.at<Vec3b>(j, i) = blue;  
34.         }  
35.     }  
36. }  
37.   
38. // step 5:  
39. int c = SVM.get_support_vector_count();  
40.   
41. for (int i=0; i<c; i++)  
42. {  
43.     const float* v = SVM.get_support_vector(i);  
44. }  

OpenCV学习笔记（二十七）——基于级联分类器的目标检测objdect 

OpenCV支持的目标检测的方法是利用样本的Haar特征进行的分类器训练，得到的级联boosted分类器（Cascade Classification）。注意，新版本的C++接口除了Haar特征以外也可以使用LBP特征。

先介绍一下相关的结构，级联分类器的计算特征值的基础类FeatureEvaluator，功能包括读操作read、复制clone、获得特征类型getFeatureType，分配图片分配窗口的操作setImage、setWindow，计算有序特征calcOrd，计算绝对特征calcCat，创建分类器特征的结构create函数。级联分类器类CascadeClassifier。目标级联矩形的分组函数groupRectangles。

接下来，我尝试使用CascadeClassifier这个级联分类器类检测视频流中的目标（haar支持的目标有人脸、人眼、嘴、鼻、身体。这里尝试比较成熟的人脸和眼镜）。用load函数加载XML分类器文件（目前提供的分类器包括Haar分类器和LBP分类器（LBP分类器数据较少））具体步骤如下：

这里再补充一点：后来我又进行了一些实验，对正面人脸分类器进行了实验，总共有4个，alt、alt2、alt_tree、default。对比下来发现alt和alt2的效果比较好，alt_tree耗时较长，default是一个轻量级的，经常出现误检测。所以还是推荐大家使用haarcascade_frontalface_atl.xml和haarcascade_frontalface_atl2.xml。

1）加载级联分类器

调用CascadeClassifier类成员函数load实现，代码为：

[cpp]  view plain  copy

1. CascadeClassifier face_cascade;  
2. face_cascade.load("haarcascade_frontalface_alt.xml");  

2）读取视频流

这部分比较基础啦~~从文件中读取图像序列，读取视频文件，读取摄像头视频流看过我之前的文章，这3种方法应该了然于心。

3）对每一帧使用该分类器

这里先将图像变成灰度图，对它应用直方图均衡化，做一些预处理的工作。接下来检测人脸，调用detectMultiScale函数，该函数在输入图像的不同尺度中检测物体，参数image为输入的灰度图像，objects为得到被检测物体的矩形框向量组，scaleFactor为每一个图像尺度中的尺度参数，默认值为1.1，minNeighbors参数为每一个级联矩形应该保留的邻近个数（没能理解这个参数，-_-|||），默认为3，flags对于新的分类器没有用（但目前的haar分类器都是旧版的，CV_HAAR_DO_CANNY_PRUNING利用Canny边缘检测器来排除一些边缘很少或者很多的图像区域，CV_HAAR_SCALE_IMAGE就是按比例正常检测，CV_HAAR_FIND_BIGGEST_OBJECT只检测最大的物体，CV_HAAR_DO_ROUGH_SEARCH只做初略检测），默认为0.minSize和maxSize用来限制得到的目标区域的范围。这里调用的代码如下：

[cpp]  view plain  copy

1. face_cascade.detectMultiScale( frame_gray, faces, 1.1, 2, 0|CV_HAAR_SCALE_IMAGE, Size(30, 30) );  

4）显示目标

这个也比较简单，调用ellips函数将刚才得到的faces矩形框都显示出来

更进一步，也可以在得到的每一幅人脸中得到人眼的位置，调用的分类器文件为haarcascade_eye_tree_eyeglasses.xml，先将脸部区域选为兴趣区域ROI，重复上诉步骤即可，这里就不详细介绍了。当然，感兴趣的朋友也可以试试其他的xml文件作为分类器玩一下啊，感觉LBP特征虽然xml文件的大小很小，但效果还可以，不过我没有做过多的测试。光说不练假把式，最后贴上效果图和源代码的下载地址

代码下载地址：http://download.csdn.net/detail/yang_xian521/3800468

OpenCV学习笔记（二十八）——光流法对运动目标跟踪Video 

OpenCV配套的教程Tutorials对于Video的部分，没有实例进行说明，我只能摸石头过河啦，之前试过一个camShift做目标检测，这次试一试光流法做运动估计。这里使用的光流法是比较常用的 Lucas-Kanade方法。对于光流法的原理，我就不过多介绍了，主要讲使用OpenCV如何实现。

首先利用goodFeaturesToTrack函数得到图像中的强边界作为跟踪的特征点，接下来要调用calcOpticalFlowPyrLK函数，输入两幅连续的图像，并在第一幅图像里选择一组特征点，输出为这组点在下一幅图像中的位置。再把得到的跟踪结果过滤一下，去掉不好的特征点。再把特征点的跟踪路径标示出来。说着好简单哦~~

程序的效果和代码下载http://download.csdn.net/detail/yang_xian521/3811478

OpenCV学习笔记（二十九）——视频前景的提取Video 

视频捕捉的对象中，背景通常保持不变。一般分析中关注移动的前景物体，威力提取出前景物体，需要建立背景的模型，将模型和当前帧进行比对检测前景物体。前景提取应用非常广泛，特别是在智能监控领域中。

如果有不含前景物体的背景图片，提取前景的工作相对容易，只需要比对当前帧和背景图片的不同，调用函数absdiff实现。但是大多数情况，获得背景图片是不可能的，比如在复杂的场景下，或者有光线条件的变化。因此，就需要动态的变换背景。一种简单的办法是对所观察到的图片取平均，但这样做也有很多弊端，首先，这种办法在计算背景图片的前需要输入大量的图片，其次我们进行取平均的过程中不能有前景物体进入。所以一种相对好的办法是动态建立背景图片并实时更新。

具体的实现过程主要分为两部分：一部分是调用absdiff函数找出当前图片和背景图片的区别，这之中使用了threshold函数去除为前景，当前图片像素与背景图片像素变化超过一定阈值的时候才认定其为前景；另一个工作是更新背景图片，调用函数accumulateWeighted，根据权重参数可以调整背景更新的速度，将当前图片更新到背景中，这里巧妙利用得到的前景提取结果作为mask，在更新背景图片的过程中避免了前景的干扰。

程序效果如图，代码下载地址为http://download.csdn.net/detail/yang_xian521/3814878

虽然可以调整阈值参数和权重更新速度调节前景提取的结果，但从测试视频可以发现，树叶的运动对结果的干扰还是不小的，特别对于第一帧出现前景的情况，由于后续更新背景都是对前景mask后对背景进行更新的，所以第一帧的前景部分对背景的影响因子很难被更新掉。这里提出一种改进的办法——混合高斯模型。可以使一个像素具有更多的信息，这样可以有效的减少类似树叶的不停飘动，水波的不停荡漾这种对前景的干扰。这个精密的算法比之前我所介绍的简单方法要复杂很多，不易实现。还好，OpenCV已经为我们做好了相关工作，将其封装在类BackgroundSubtractorMOG，使用起来非常方便。实现代码如下：

[cpp]  view plain  copy

1. Mat frame;   
2. Mat foreground; // 前景图片  
3. namedWindow("Extracted Foreground");  
4. // 混合高斯物体  
5. BackgroundSubtractorMOG mog;  
6. bool stop(false);  
7. while (!stop)  
8. {  
9.     if (!capture.read(frame))  
10.     {  
11.         break;  
12.     }  
13.     // 更新背景图片并且输出前景  
14.     mog(frame, foreground, 0.01);  
15.     // 输出的前景图片并不是2值图片，要处理一下显示    
16.     threshold(foreground, foreground, 128, 255, THRESH_BINARY_INV);  

新程序的效果图如下，下载地址为 http://download.csdn.net/detail/yang_xian521/3815366

OpenCV学习笔记（三十）——解开VideoInput面纱highgui

最近做一个东西，摄像头使用的高清摄像头，采集出来的视频是D1格式（720*480）。使用VideoCapture发现速度很忙，网上的朋友说VideoCapture提供的读写功能采用VFW，效率低下且有些格式支持不好。而 OpenCV 2.0 内置了videoInput Library，可以自动在VFW和DirectShow间切换。videoInput是老外写的功能强大的开源视频处理库。是一个第三方库，2.0~2.2的版本专门有一个3rdparty对该库进行支持，而在最新的2.3版本中，已经讲videoInput库集成到highgui中了，想使用它的话，只需要在cmake中设置宏WITH_VIDEOiNPUT=OFF/ON即可。好像我使用的2.3.1自带的那个build文件夹下面的库就是在ON条件下编译得到的，所以就不用cmake重新编译了。2.3中使用手册和教程对VideoInput类只字未提，我只好自己摸索了。还好有源代码可以看，开源伟大。

网上见过其他朋友写过2.2实现VideoInput的使用，我实验发现2.3中的使用方法基本没有变化。后面再把配套例程奉上，先把VideoInput类内的公有成员函数一一介绍一下，该类还有个相关的类是VideoDevice。包括控制是否在控制台输出信息开关setVerbose函数，打印出可用视频设备信息的函数listDevices，之后可以得到设备名函数getDeviceName，视频捕捉的回调函数设置函数setUseCallback，调整捕捉帧率的函数setIdealFramerate（默认30fps，可修改，但不能被保证准确，directshow会尝试一个邻近的帧率），防止设备休眠重新连接的函数setAutoReconnectOnFreeze，开启设备函数setupDevice，在setpuDevice之前可以设置视频制式，调用函数为setFormat，检测是否有新的帧函数isFrameNew，检测视频是否开启isDeviceSetup，获得数据的函数getPixels（注意这里获得的数据时uchar型的指针），显示视频设置窗口函数showSettingsWindow，控制视频设置的相关函数有setVideoSettingFilter、setVideoSettingFilterPct、getVideoSettingFilter、setVideoSettingCamera、setVideoSettingCameraPct、getVideoSettingCamera，获得视频宽高信息的函数有getWidth、getHeight、getSize，停止设备函数stopDevice，重启设备函数restartDevice。

讲了这么多函数，还是直接上代码说话吧，我这是找的VideoInput注释中的一个例程。

[cpp]  view plain  copy

1. //create a videoInput object  
2.     videoInput VI;  
3.       
4.     //Prints out a list of available devices and returns num of devices found  
5.     int numDevices = VI.listDevices();    
6.       
7.     int device1 = 0;  //this could be any deviceID that shows up in listDevices  
8.     int device2 = 1;  //this could be any deviceID that shows up in listDevices  
9.       
10.     //if you want to capture at a different frame rate (default is 30)   
11.     //specify it here, you are not guaranteed to get this fps though.  
12.     //VI.setIdealFramerate(dev, 60);      
13.       
14.     //setup the first device - there are a number of options:  
15.       
16.     VI.setupDevice(device1);                          //setup the first device with the default settings  
17.     //VI.setupDevice(device1, VI_COMPOSITE);              //or setup device with specific connection type  
18.     //VI.setupDevice(device1, 320, 240);                  //or setup device with specified video size  
19.     //VI.setupDevice(device1, 320, 240, VI_COMPOSITE);  //or setup device with video size and connection type  
20.   
21.     //VI.setFormat(device1, VI_NTSC_M);                 //if your card doesn't remember what format it should be  
22.                                                         //call this with the appropriate format listed above  
23.                                                         //NOTE: must be called after setupDevice!  
24.       
25.     //optionally setup a second (or third, fourth ...) device - same options as above  
26.     VI.setupDevice(device2);                            
27.   
28.     //As requested width and height can not always be accomodated  
29.     //make sure to check the size once the device is setup  
30.   
31.     int width   = VI.getWidth(device1);  
32.     int height  = VI.getHeight(device1);  
33.     int size    = VI.getSize(device1);  
34.       
35.     unsigned char * yourBuffer1 = new unsigned char[size];  
36.     unsigned char * yourBuffer2 = new unsigned char[size];  
37.       
38.     //to get the data from the device first check if the data is new  
39.     if(VI.isFrameNew(device1)){  
40.         VI.getPixels(device1, yourBuffer1, false, false);   //fills pixels as a BGR (for openCV) unsigned char array - no flipping  
41.         VI.getPixels(device1, yourBuffer2, true, true);     //fills pixels as a RGB (for openGL) unsigned char array - flipping!  
42.     }  
43.       
44.     //same applies to device2 etc  
45.       
46.     //to get a settings dialog for the device  
47.     VI.showSettingsWindow(device1);  
48.       
49.       
50.     //Shut down devices properly  
51.     VI.stopDevice(device1);  
52.     VI.stopDevice(device2);  

from: http://blog.csdn.net/yang_xian521/article/category/910716