关于CAMshift的资料很多,如下链接写的都很不错,我就说说自己对CAMshift的理解
https://blog.csdn.net/li_dongxuan/article/details/70667170
https://blog.csdn.net/leixiaohua1020/article/details/12236091
总结:
一:HSV对光照影响小,RGB空间对光照影响大。
二:把ROI区域的直方图求出来,然后以ROI区域直方图为依据,对原图像作反向投影, 这样使得反向投影后的ROI区域的像素点都有值并且都很大,使得原图像中与ROI区域颜色不一样的像素点的值很小甚至接近0。这样就形成了一副密度图,利用Meanshft均值漂移,使圆形窗口的中心向窗口内稠密度大的质心移动。注意:均值偏移会在上一个ROI区域附近为起点开始
搜索稠密度最大的质心,而不是对整幅图像全部搜索,所以上一个ROI区域搜索到的稠密度最大的质心,只是局部最优答案,
不是整幅图像稠密度最大的质心。
三:由于ROI区域会变大变小,为了使算法具有鲁棒性,添加预测算法。预测算法:
先设定一个最大、最小阈值。当搜索到ROI区域时,如果原图像中ROI目标变小了,则圆形窗口内的值会变大,当大于阈值时,则使圆形窗口变小,精确追踪ROI目标。如果原图像中ROI目标变大了,则圆形窗口内的值会变小,当小于阈值时,则使圆形窗口变大,精确追踪ROI目标
四:可以看出颜色对该算法影响很大
#include<opencv2/opencv.hpp>
#include<iostream>
using namespace cv;
using namespace std;
Mat image;
bool leftButtonDownFlag = false; //左键单击后视频暂停播放的标志位,ture暂停
Point originalPoint; //矩形框起点
Point processPoint; //矩形框终点
//定义绘制直方图的参数
int histSize = 200;//直方图的bin值
float histR[] = { 0,255 };//每个bin值的范围
const float *histRange = histR;
int channels[] = { 0,1 };//因为输入图像个数为2,所以不是 int channels=0;
Mat dstHist;//直方图
Rect rect;//ROI矩形区域
Mat rectImage;//ROI矩形图像
Mat targetImageHSV;//ROI区域的HSV空间图像
Mat imageCopy; //绘制矩形框时用来拷贝原图的图像
vector<Point> pt; //保存目标轨迹
//鼠标回调函数,相当于中断调用
void onMouse(int event, int x, int y, int flags, void* ustc);
int main(int argc, char*argv[])
{
VideoCapture video;
Mat frame;
video.open(0);
namedWindow("跟踪木头人", CV_WINDOW_NORMAL);
//调用鼠标
setMouseCallback("跟踪木头人", onMouse);
while (video.read(frame))
{
if (!leftButtonDownFlag) //判定鼠标左键有没有按下,没有则采取播放视频,则此时!leftButtonDownFlag为ture
{
image= frame;
}
if (!image.data || waitKey(100) == 27) //图像为空或Esc键按下退出播放
{
break;
}
if (originalPoint != processPoint && !leftButtonDownFlag)//如果矩阵框起点不等于终点以及鼠标左键没有按下
//左键没有按下分为一直没有按下和选择ROI后的松开左键。 当左键一直没有按下使,originalPoint与processPoint为空,就不想等,则跳过if
//当是选择了ROI区域的松开左键,此时originalPoint与processPoint是有具体数值的。并且选择ROI区域后,这两个值会一直不相等
{
Mat imageHSV;//整幅图像的HSV空间
Mat calcBackImage;//反向投影
cvtColor(image, imageHSV, CV_RGB2HSV);//原图像转换成HSV空间
calcBackProject(&imageHSV, 2, channels, dstHist, calcBackImage, &histRange); //反向投影
//dstHist输入直方图,calcBackImage输出图像
TermCriteria criteria(TermCriteria::MAX_ITER + TermCriteria::EPS, 1000, 0.001);
//这个类是作为迭代算法的终止条件的.该类变量需要3个参数,一个是类型,第二个参数为迭代的最大次数,最后一个是特定的阈值。
//类型有CV_TERMCRIT_ITER、CV_TERMCRIT_EPS、CV_TERMCRIT_ITER+CV_TERMCRIT_EPS,
//分别代表着迭代终止条件为达到最大迭代次数终止,迭代到阈值终止,或者两者都作为迭代终止条件。
//以上的宏对应的c++的版本分别为TermCriteria::COUNT、TermCriteria::EPS,这里的COUNT也可以写成MAX_ITER。
CamShift(calcBackImage, rect, criteria);
//rect为输入和输出的ROI窗口,窗口的尺寸会自动调整
Mat imageROI = imageHSV(rect); //更新HSV空间下的ROI
calcHist(&imageROI, 2, channels, Mat(), dstHist, 1, &histSize, &histRange);//更新ROI的直方图
normalize(dstHist, dstHist, 0.0, 1.0, NORM_MINMAX); //归一化
rectangle(image, rect, Scalar(255, 0, 0), 3); //绘制新的ROI矩形
pt.push_back(Point(rect.x + rect.width / 2, rect.y + rect.height / 2));
//C++中容器中的push_back用的时候,容器的大小不能给定。空号里的点坐标附加给容器pt结尾,而容器pt会自动调整容器容量
//pt.insert(a),也能把点坐标附加给容器pt结尾,但是容器pt的容量不会自动改变,需要自己编程序
for (int i = 0; i<pt.size() - 1; i++)
{
line(image, pt[i], pt[i + 1], Scalar(0, 255, 0), 2.5);//画质心线
}
}
imshow("跟踪木头人", image);
waitKey(100);
}
return 0;
}
//*******************************************************************//
//鼠标回调函数
void onMouse(int event, int x, int y, int flags, void *ustc)
{
if (event == CV_EVENT_LBUTTONDOWN)//如果按下鼠标左键
{
leftButtonDownFlag = true; //标志位
originalPoint = Point(x, y); //设置左键按下点的矩形起点
processPoint = originalPoint;//此时的起点跟终点坐标一样
}
if (event == CV_EVENT_MOUSEMOVE && leftButtonDownFlag)//如果鼠标左键按下并且移动
{
imageCopy = image.clone();
processPoint = Point(x, y);//把移动的坐标赋给矩形终点
if (originalPoint != processPoint)//如果矩形起点不等于终点
{
//在复制的图像上绘制矩形
rectangle(imageCopy, originalPoint, processPoint, Scalar(255, 0, 0), 2);
}
imshow("跟踪木头人", imageCopy);
}
if (event == CV_EVENT_LBUTTONUP)//如果鼠标左键放开
{
leftButtonDownFlag = false;//改变鼠标是否按下的标志位
rect = Rect(originalPoint, processPoint);//ROI区域
rectImage = image(rect); //ROI图像显示
imshow("ROI", rectImage);
cvtColor(rectImage, targetImageHSV, CV_RGB2HSV);//ROI区域转换成HSV空间
imshow("ROI HSV", targetImageHSV);
calcHist(&targetImageHSV, 2, channels, Mat(), dstHist, 1, &histSize, &histRange, true, false);//直方图
normalize(dstHist, dstHist, 0.0, 1.0, CV_MINMAX);//归一化
}
}