opencv2对读书笔记——使用均值漂移算法查找物体

一些小概念

1.反投影直方图的结果是一个概率映射，体现了已知图像内容出现在图像中特定位置的概率。

2.概率映射可以找到最初的位置，从最初的位置开始并且迭代移动，便可以找到精确的位置，这就是均值漂移算法做的事情。

3.均值漂移算法是以迭代的方式锁定函数的局部最大值的。

关于均值漂移算法的过程(opencv)

其实均值漂移算法就是寻找预定义寻找区域中数据点的重心，或者说加权平均值。将寻找区域中心移动到数据点的重心处，并重复这个过程直到寻找区域重心收敛到一个稳定点。

OpenCV中定义了两种终止条件：迭代最大次数以及窗口重心的位移值（低于该值即认为算法收敛）。

在OpenCV中实现这个过程的是meanshift函数，其源代码如下：

[cpp] view plain copy

1. #include "_cv.h"  
2.   
3. CV_IMPL int  
4. cvMeanShift( const void* imgProb, CvRect windowIn,  
5.              CvTermCriteria criteria, CvConnectedComp* comp )  
6. {  
7.     //CvMoments用来计算矩形的重心，面积等形状特征  
8.     CvMoments moments;  
9.     int    i = 0, eps;  
10.     CvMat  stub, *mat = (CvMat*)imgProb;  
11.     CvMat  cur_win;  
12.     CvRect cur_rect = windowIn;  
13.   
14.     CV_FUNCNAME( "cvMeanShift" );  
15.   
16.     //初始化跟踪窗口  
17.     if( comp )  
18.         comp->rect = windowIn;  
19.   
20.     //把0阶矩和1阶矩先初始化置零  
21.     moments.m00 = moments.m10 = moments.m01 = 0;  
22.   
23.     __BEGIN__;  
24.   
25.     CV_CALL( mat = cvGetMat( mat, &stub ));  
26.   
27.     //各种输入变量不符合要求时显示错误信息  
28.     if( CV_MAT_CN( mat->type ) > 1 )  
29.         CV_ERROR( CV_BadNumChannels, cvUnsupportedFormat );  
30.     if( windowIn.height <= 0 || windowIn.width <= 0 )  
31.         CV_ERROR( CV_StsBadArg, "Input window has non-positive sizes" );  
32.     if( windowIn.x < 0 || windowIn.x + windowIn.width > mat->cols ||  
33.         windowIn.y < 0 || windowIn.y + windowIn.height > mat->rows )  
34.         CV_ERROR( CV_StsBadArg, "Initial window is not inside the image ROI" );  
35.   
36.     //迭代的标准，精度=1.0，迭代次数=100  
37.     CV_CALL( criteria = cvCheckTermCriteria( criteria, 1., 100 ));  
38.   
39.     //精度eps=1  
40.     eps = cvRound( criteria.epsilon * criteria.epsilon );  
41.   
42.     //最大循环次数=最大迭代次数criteria.max_iter=100  
43.     for( i = 0; i < criteria.max_iter; i++ )  
44.     {  
45.         int dx, dy, nx, ny;  
46.         double inv_m00;  
47.   
48.         //选取搜索区域，对该矩形区域计算它的0,1阶矩  
49.         CV_CALL( cvGetSubRect( mat, &cur_win, cur_rect ));   
50.         CV_CALL( cvMoments( &cur_win, &moments ));  
51.   
52.         /* Calculating center of mass */  
53.         if( fabs(moments.m00) < DBL_EPSILON )  
54.             break;  
55.   
56.         //搜索区域的质量m00  
57.         inv_m00 = moments.inv_sqrt_m00*moments.inv_sqrt_m00;  
58.         //搜索区域的水平重心偏移dx  
59.         dx = cvRound( moments.m10 * inv_m00 - windowIn.width*0.5 );  
60.         //搜索区域的垂直重心偏移dy  
61.         dy = cvRound( moments.m01 * inv_m00 - windowIn.height*0.5 );  
62.   
63.         //搜索区域的重心坐标(nx,ny)  
64.         nx = cur_rect.x + dx;  
65.         ny = cur_rect.y + dy;  
66.   
67.         //跟踪目标处于图像边缘时进行一些相应的处理  
68.         if( nx < 0 )  
69.             nx = 0;  
70.         else if( nx + cur_rect.width > mat->cols )  
71.             nx = mat->cols - cur_rect.width;  
72.   
73.         if( ny < 0 )  
74.             ny = 0;  
75.         else if( ny + cur_rect.height > mat->rows )  
76.             ny = mat->rows - cur_rect.height;  
77.   
78.         dx = nx - cur_rect.x;  
79.         dy = ny - cur_rect.y;  
80.         cur_rect.x = nx;  
81.         cur_rect.y = ny;  
82.   
83.         /* Check for coverage centers mass & window */  
84.         //精度达到要求时即可退出循环  
85.         if( dx*dx + dy*dy < eps )  
86.             break;  
87.     }  
88.   
89.     __END__;  
90.   
91.     //对meanshift函数的返回值赋值  
92.     if( comp )  
93.     {  
94.         comp->rect = cur_rect;  
95.         comp->area = (float)moments.m00;  
96.     }  
97.   
98.     return i;  
99. }  

在里面我们可以很容易的看出迭代过程

对这个算法想仔细研究的同学可以参考一下Dorin Comaniciu 等人2002年写的：

《Mean Shift：A Robust Approach Toward Feature Space Analysis》

实际例子

例子代码

[cpp] view plain copy

1. #include <opencv2\core\core.hpp>  
2. #include <opencv2\highgui\highgui.hpp>  
3. #include <opencv2\imgproc\imgproc.hpp>  
4. #include <opencv2\video\tracking.hpp>  
5.   
6. #include <iostream>  
7. #include <vector>  
8. using namespace std;  
9.   
10. #include "objectFinder.h"  
11. #include "colorhistogram.h"  
12.   
13. int main()  
14. {  
15.     //读取参考图像  
16.     cv::Mat image= cv::imread("../3.jpg");  
17.     if (!image.data)  
18.         return 0;   
19.   
20.     //定义查找物体  
21.     cv::Mat imageROI= image(cv::Rect(85,200,64,64));  
22.     cv::rectangle(image, cv::Rect(85,200,64,64),cv::Scalar(0,0,255));  
23.   
24.     //显示参考图像  
25.     cv::namedWindow("第一张图片，标记篮球位置");  
26.     cv::imshow("第一张图片，标记篮球位置",image);  
27.   
28.     //获得色度直方图  
29.     ColorHistogram hc;  
30.     cv::MatND colorhist= hc.getHueHistogram(imageROI);  
31.   
32.     //读入目标图像  
33.     image= cv::imread("../4.jpg");  
34.   
35.     //显示目标图像  
36.     cv::namedWindow("第二张图片");  
37.     cv::imshow("第二张图片",image);  
38.   
39.     //将RGB图像图像转换为HSV图像  
40.     cv::Mat hsv;  
41.     cv::cvtColor(image, hsv, CV_BGR2HSV);  
42.   
43.     //分离图像通道  
44.     vector<cv::Mat> v;  
45.     cv::split(hsv,v);  
46.   
47.     //消除饱和度较低的像素点  
48.     int minSat=65;  
49.     cv::threshold(v[1],v[1],minSat,255,cv::THRESH_BINARY);  
50.     cv::namedWindow("第二张图片消除饱和度较低的像素点");  
51.     cv::imshow("第二张图片消除饱和度较低的像素点",v[1]);  
52.   
53.     //进行直方图反投影  
54.     ObjectFinder finder;  
55.     finder.setHistogram(colorhist);  
56.     finder.setThreshold(0.3f);  
57.     int ch[1]={0};  
58.     cv::Mat result= finder.find(hsv,0.0f,180.0f,ch,1);  
59.   
60.     cv::namedWindow("第二张图片进行直方图反投影");  
61.     cv::imshow("第二张图片进行直方图反投影",result);  
62.   
63.     //利用位运算消除低饱和度像素  
64.     cv::bitwise_and(result,v[1],result);  
65.     cv::namedWindow("第二张图片利用位运算进一步消除低饱和度像素点");  
66.     cv::imshow("第二张图片利用位运算进一步消除低饱和度像素点",result);  
67.   
68.     // 得到反投影直方图概率图像  
69.     finder.setThreshold(-1.0f);  
70.     result= finder.find(hsv,0.0f,180.0f,ch,1);  
71.     cv::bitwise_and(result,v[1],result);  
72.     cv::namedWindow("第二张图片处理后的二值图像");  
73.     cv::imshow("第二张图片处理后的二值图像",result);  
74.   
75.     cv::Rect rect(85,200,64,64);  
76.     cv::rectangle(image, rect, cv::Scalar(0,0,255));  
77.   
78.     cv::TermCriteria criteria(cv::TermCriteria::MAX_ITER,10,0.01);  
79.     cout << "均值漂移迭代次数 = " << cv::meanShift(result,rect,criteria) << endl;  
80.   
81.     cv::rectangle(image, rect, cv::Scalar(0,255,0));  
82.   
83.     //展示结果图  
84.     cv::namedWindow("查找结果，红框为第一幅图中篮球位置，绿框为现位置");  
85.     cv::imshow("查找结果，红框为第一幅图中篮球位置，绿框为现位置",image);  
86.   
87.     cv::waitKey();  
88.     return 0;  
89. }  

输出结果

                                  -END-

www.lhrb.com.cn/qyxw/redianzixun/5950912542.html
www.lhrb.com.cn/qyxw/redianzixun/5930135883.html
www.lhrb.com.cn/qyxw/redianzixun/5930145112.html
www.lhrb.com.cn/qyxw/redianzixun/5930162587.html
www.lhrb.com.cn/qyxw/redianzixun/5930178148.html
www.lhrb.com.cn/qyxw/redianzixun/5930199359.html
www.lhrb.com.cn/qyxw/redianzixun/5930285692.html
www.lhrb.com.cn/qyxw/redianzixun/5930306092.html
www.lhrb.com.cn/qyxw/redianzixun/5930328678.html
www.lhrb.com.cn/qyxw/redianzixun/5930343148.html
www.lhrb.com.cn/qyxw/redianzixun/5930352812.html
www.lhrb.com.cn/qyxw/redianzixun/5930363348.html
www.lhrb.com.cn/qyxw/redianzixun/5930372683.html
www.lhrb.com.cn/qyxw/redianzixun/5930382629.html
www.lhrb.com.cn/qyxw/redianzixun/5930392842.html
www.lhrb.com.cn/qyxw/redianzixun/5930418178.html
www.lhrb.com.cn/qyxw/redianzixun/5930441871.html
www.lhrb.com.cn/qyxw/redianzixun/5930461978.html
www.lhrb.com.cn/qyxw/redianzixun/5930463187.html
www.lhrb.com.cn/qyxw/redianzixun/5930464378.html
www.lhrb.com.cn/qyxw/redianzixun/5930637902.html
www.lhrb.com.cn/qyxw/redianzixun/5930749266.html
www.lhrb.com.cn/qyxw/redianzixun/5930767462.html
www.lhrb.com.cn/qyxw/redianzixun/5930843227.html
www.lhrb.com.cn/qyxw/redianzixun/5930781160.html
www.lhrb.com.cn/qyxw/redianzixun/5931936504.html
www.lhrb.com.cn/qyxw/redianzixun/5931975659.html
www.lhrb.com.cn/qyxw/redianzixun/5931986442.html
www.lhrb.com.cn/qyxw/redianzixun/5932011391.html
www.rznews.cn/yszx/zxzx/5947285511.html
www.rznews.cn/yszx/zxzx/5947291555.html
www.rznews.cn/yszx/zxzx/5947326947.html
www.rznews.cn/yszx/zxzx/5947350523.html
www.rznews.cn/yszx/zxzx/5947370455.html
www.rznews.cn/yszx/zxzx/5947384367.html
www.rznews.cn/yszx/zxzx/5947442491.html
www.rznews.cn/yszx/zxzx/5947454371.html
www.rznews.cn/yszx/zxzx/5947460155.html
www.rznews.cn/yszx/zxzx/5947600271.html
www.rznews.cn/yszx/zxzx/5947811142.html
www.zznews.cn/hyzx/xywy/5931243112.html
www.zznews.cn/hyzx/xywy/5931277947.html
www.zznews.cn/hyzx/xywy/5931285873.html
www.zznews.cn/hyzx/xywy/5931358673.html
www.zznews.cn/hyzx/xywy/5931367204.html
www.zznews.cn/hyzx/xywy/5931478342.html
www.zznews.cn/hyzx/xywy/5931487232.html
www.zznews.cn/hyzx/xywy/5931508977.html
www.zznews.cn/hyzx/xywy/5931531011.html
www.zznews.cn/hyzx/xywy/5931545702.html
www.zznews.cn/hyzx/xywy/5931568866.html
www.zznews.cn/hyzx/xywy/5931950127.html
www.zznews.cn/hyzx/xywy/5931957668.html
www.zznews.cn/hyzx/xywy/5931981396.html
www.zznews.cn/hyzx/xywy/5932006838.html
www.zznews.cn/hyzx/xywy/5932076577.html
www.zznews.cn/hyzx/xywy/5932125087.html
www.zznews.cn/hyzx/xywy/5932173171.html
www.zznews.cn/hyzx/xywy/5932250355.html
www.zznews.cn/hyzx/xywy/5932291285.html
www.zznews.cn/hyzx/xywy/5932306630.html
www.zznews.cn/hyzx/xywy/5932341182.html
www.lhrb.com.cn/qyxw/fhrl/5938105913.html
www.lhrb.com.cn/qyxw/fhrl/5938101398.html
www.lhrb.com.cn/qyxw/fhrl/5938098227.html
www.lhrb.com.cn/qyxw/fhrl/5938255759.html
www.lhrb.com.cn/qyxw/fhrl/5938244268.html
www.lhrb.com.cn/qyxw/fhrl/5938077598.html
www.lhrb.com.cn/qyxw/fhrl/5938030067.html
www.lhrb.com.cn/qyxw/fhrl/5938276527.html
www.lhrb.com.cn/qyxw/fhrl/5938252423.html
www.lhrb.com.cn/qyxw/fhrl/5938250898.html
www.js0573.com/yx/jsfs/6623400.html
www.js0573.com/yx/jsfs/6623269.html
www.js0573.com/yx/jsfs/6623490.html
www.js0573.com/yx/jsfs/6623441.html
www.js0573.com/yx/jsfs/6623743.html
www.js0573.com/yx/jsfs/6623877.html
www.js0573.com/yx/jsfs/6624087.html
www.js0573.com/yx/jsfs/6624074.html
www.js0573.com/yx/jsfs/6624350.html
www.js0573.com/yx/jsfs/6624189.html
www.js0573.com/yx/jsfs/6624413.html
www.js0573.com/yx/jsfs/6624584.html
www.js0573.com/yx/jsfs/6624905.html
www.js0573.com/yx/jsfs/6624968.html
www.js0573.com/yx/jsfs/6624953.html
www.js0573.com/yx/jsfs/6625230.html
www.js0573.com/yx/jsfs/6625204.html
www.js0573.com/yx/jsfs/6625518.html
www.js0573.com/yx/jsfs/6625636.html
www.js0573.com/yx/jsfs/6625538.html
www.535400.com/news/2014/9/6/2014618131810.htm
www.535400.com/news/2014/9/6/2014618131852.htm
www.535400.com/news/2014/9/6/2014618131934.htm
www.535400.com/news/2014/9/6/2014618132018.htm
www.535400.com/news/2014/9/6/201461813214.htm
www.535400.com/news/2014/9/6/2014618132145.htm
www.535400.com/news/2014/9/6/2014618132230.htm
www.535400.com/news/2014/9/6/2014618132315.htm
www.535400.com/news/2014/9/6/2014618132356.htm
www.535400.com/news/2014/9/6/2014618132438.htm
www.535400.com/news/2014/9/6/201461813264.htm
www.535400.com/news/2014/9/6/2014618132737.htm
www.535400.com/news/2014/9/6/2014618132822.htm
www.535400.com/news/2014/9/6/201461813295.htm
www.535400.com/news/2014/9/6/2014618132945.htm
www.535400.com/news/2014/9/6/2014618133027.htm
www.535400.com/news/2014/9/6/2014618133111.htm
www.535400.com/news/2014/9/6/2014618133152.htm
www.535400.com/news/2014/9/6/2014618133314.htm
www.535400.com/news/2014/9/6/2014618133355.htm

www.citygf.com/health/ys/201406/t20140618_259418.html
www.citygf.com/health/ys/201406/t20140618_259427.html
www.citygf.com/health/ys/201406/t20140618_259434.html
www.citygf.com/health/ys/201406/t20140618_259440.html
www.citygf.com/health/ys/201406/t20140618_259449.html
www.citygf.com/health/ys/201406/t20140618_259455.html
www.citygf.com/health/ys/201406/t20140618_259460.html
www.citygf.com/health/ys/201406/t20140618_259462.html
www.citygf.com/health/ys/201406/t20140618_259465.html
www.citygf.com/health/ys/201406/t20140618_259466.html
www.citygf.com/health/ys/201406/t20140618_259689.html
www.citygf.com/health/ys/201406/t20140618_259467.html
www.citygf.com/health/ys/201406/t20140618_259476.html
www.citygf.com/health/ys/201406/t20140618_259485.html
www.citygf.com/health/ys/201406/t20140618_259490.html
www.citygf.com/health/ys/201406/t20140618_259492.html
www.citygf.com/health/ys/201406/t20140618_259495.html
www.citygf.com/health/ys/201406/t20140618_259496.html
www.citygf.com/health/ys/201406/t20140618_259497.html
www.citygf.com/health/ys/201406/t20140618_259499.html
www.ncnews.com.cn/ys/bk/2014-06/18/content_339214.htm
www.ncnews.com.cn/ys/bk/2014-06/18/content_339216.htm
www.ncnews.com.cn/ys/bk/2014-06/18/content_339219.htm
www.ncnews.com.cn/ys/bk/2014-06/18/content_339221.htm
www.ncnews.com.cn/ys/bk/2014-06/18/content_339223.htm
www.ncnews.com.cn/ys/bk/2014-06/18/content_339226.htm
www.ncnews.com.cn/ys/bk/2014-06/18/content_339228.htm
www.ncnews.com.cn/ys/bk/2014-06/18/content_339229.htm
www.ncnews.com.cn/ys/bk/2014-06/18/content_339230.htm
www.ncnews.com.cn/ys/bk/2014-06/18/content_339231.htm
www.ncnews.com.cn/ys/bk/2014-06/18/content_339232.htm
www.ncnews.com.cn/ys/bk/2014-06/18/content_339234.htm
www.ncnews.com.cn/ys/bk/2014-06/18/content_339235.htm
www.ncnews.com.cn/ys/bk/2014-06/18/content_339236.htm
www.ncnews.com.cn/ys/bk/2014-06/18/content_339237.htm
www.ncnews.com.cn/ys/bk/2014-06/18/content_339238.htm
www.ncnews.com.cn/ys/bk/2014-06/18/content_339239.htm
www.ncnews.com.cn/ys/bk/2014-06/18/content_339240.htm
www.ncnews.com.cn/ys/bk/2014-06/18/content_339241.htm
www.ncnews.com.cn/ys/bk/2014-06/18/content_339242.htm