视频监控中运动物体检测与跟踪----相邻帧差法和三帧差法

【来源】http://blog.csdn.net/dcrmg/article/details/52234929

帧间差分法是通过对视频中相邻两帧图像做差分运算来标记运动物体的方法。

帧差法依据的原则是：当视频中存在移动物体的时候，相邻帧（或相邻三帧）之间在灰度上会有差别，求取两帧图像灰度差的绝对值，则静止的物体在差值图像上表现出来全是0，而移动物体特别是移动物体的轮廓处由于存在灰度变化为非0，这样就能大致计算出移动物体的位置、轮廓和移动路径等。

帧间差分法的优点是算法实现简单，程序设计复杂度低；对光线等场景变化不太敏感，能够适应各种动态环境，稳定性较好。缺点是不能提取出对象的完整区域，对象内部有“空洞”，只能提取出边界，边界轮廓比较粗，往往比实际物体要大。对快速运动的物体，容易出现鬼影的现象，甚至会被检测为两个不同的运动物体，对慢速运动的物体，当物体在前后两帧中几乎完全重叠时，则检测不到物体。

相邻帧间差分法

相邻帧间差分法直接对相邻的两帧图像做差分运算，并取差分运算的绝对值构成移动物体，优点是运算快速，实时性高，缺点是无法应对光照的突变，物体间一般具有空洞。

C++、OpenCV实现：

[cpp] view plain copy

print ?

1. #include "core/core.hpp"  
2. #include "highgui/highgui.hpp"  
3. #include "imgproc/imgproc.hpp"  
4.   
5. using namespace cv;  
6.   
7. int main(int argc,char *argv[])  
8. {  
9.     VideoCapture videoCap(argv[1]);  
10.     if(!videoCap.isOpened())  
11.     {  
12.         return -1;  
13.     }  
14.     double videoFPS=videoCap.get(CV_CAP_PROP_FPS);  //获取帧率  
15.     double videoPause=1000/videoFPS;  
16.   
17.     Mat framePre; //上一帧  
18.     Mat frameNow; //当前帧  
19.     Mat frameDet; //运动物体  
20.     videoCap>>framePre;  
21.     cvtColor(framePre,framePre,CV_RGB2GRAY);      
22.     while(true)  
23.     {  
24.         videoCap>>frameNow;  
25.         if(frameNow.empty()||waitKey(2500)==27)  
26.         {  
27.             break;  
28.         }  
29.         cvtColor(frameNow,frameNow,CV_RGB2GRAY);  
30.         absdiff(frameNow,framePre,frameDet);  
31.         framePre=frameNow;        
32.         imshow("Video",frameNow);  
33.         imshow("Detection",frameDet);         
34.     }  
35.     return 0;  
36. }  

#include "core/core.hpp"
#include "highgui/highgui.hpp"
#include "imgproc/imgproc.hpp"

using namespace cv;

int main(int argc,char *argv[])
{
	VideoCapture videoCap(argv[1]);
	if(!videoCap.isOpened())
	{
		return -1;
	}
	double videoFPS=videoCap.get(CV_CAP_PROP_FPS);  //获取帧率
	double videoPause=1000/videoFPS;

	Mat framePre; //上一帧
	Mat frameNow; //当前帧
	Mat frameDet; //运动物体
	videoCap>>framePre;
	cvtColor(framePre,framePre,CV_RGB2GRAY);	
	while(true)
	{
		videoCap>>frameNow;
		if(frameNow.empty()||waitKey(2500)==27)
		{
			break;
		}
		cvtColor(frameNow,frameNow,CV_RGB2GRAY);
		absdiff(frameNow,framePre,frameDet);
		framePre=frameNow;		
		imshow("Video",frameNow);
		imshow("Detection",frameDet);		
	}
	return 0;
}

调用了Opencv自带的视频文件“768x576.avi”，视频文件位置：“opencv\sources\samples\gpu”，下图是视频第100帧时图像：

下图是相邻两帧差法检测到的物体，检测效果没有经过膨胀或腐蚀等处理：

可以看到物体的轮廓是“双边”的，并且物体的移动速度越快，双边轮廓现象越粗越明显（这是不是给监控中速度检测提供了一个思路~~），另一个就是物体具有较大的空洞。

三帧差法

三帧差法是在相邻帧差法基础上改进的算法，在一定程度上优化了运动物体双边，粗轮廓的现象，相比之下，三帧差法比相邻帧差法更适用于物体移动速度较快的情况，比如道路上车辆的智能监控。

三帧差法基本实现步骤：

1. 前两帧图像做灰度差

2. 当前帧图像与前一帧图像做灰度差

3. 1和2的结果图像按位做“与”操作

C++、opencv实现：

[cpp] view plain copy

print ?

1. #include "core/core.hpp"  
2. #include "highgui/highgui.hpp"  
3. #include "imgproc/imgproc.hpp"  
4.   
5. using namespace cv;  
6.   
7. int main(int argc,char *argv[])  
8. {  
9.     VideoCapture videoCap(argv[1]);  
10.     if(!videoCap.isOpened())  
11.     {  
12.         return -1;  
13.     }  
14.     double videoFPS=videoCap.get(CV_CAP_PROP_FPS);  //获取帧率  
15.     double videoPause=1000/videoFPS;  
16.     Mat framePrePre; //上上一帧  
17.     Mat framePre; //上一帧  
18.     Mat frameNow; //当前帧  
19.     Mat frameDet; //运动物体  
20.     videoCap>>framePrePre;  
21.     videoCap>>framePre;  
22.     cvtColor(framePrePre,framePrePre,CV_RGB2GRAY);    
23.     cvtColor(framePre,framePre,CV_RGB2GRAY);      
24.     int save=0;  
25.     while(true)  
26.     {  
27.         videoCap>>frameNow;  
28.         if(frameNow.empty()||waitKey(videoPause)==27)  
29.         {  
30.             break;  
31.         }  
32.         cvtColor(frameNow,frameNow,CV_RGB2GRAY);      
33.         Mat Det1;  
34.         Mat Det2;  
35.         absdiff(framePrePre,framePre,Det1);  //帧差1  
36.         absdiff(framePre,frameNow,Det2);     //帧差2  
37.         threshold(Det1,Det1,0,255,CV_THRESH_OTSU);  //自适应阈值化  
38.         threshold(Det2,Det2,0,255,CV_THRESH_OTSU);  
39.         Mat element=getStructuringElement(0,Size(3,3));  //膨胀核  
40.         dilate(Det1,Det1,element);    //膨胀  
41.         dilate(Det2,Det2,element);  
42.         bitwise_and(Det1,Det2,frameDet);          
43.         framePrePre=framePre;         
44.         framePre=frameNow;        
45.         imshow("Video",frameNow);  
46.         imshow("Detection",frameDet);  
47.     }  
48.     return 0;  
49. }  

#include "core/core.hpp"
#include "highgui/highgui.hpp"
#include "imgproc/imgproc.hpp"

using namespace cv;

int main(int argc,char *argv[])
{
	VideoCapture videoCap(argv[1]);
	if(!videoCap.isOpened())
	{
		return -1;
	}
	double videoFPS=videoCap.get(CV_CAP_PROP_FPS);  //获取帧率
	double videoPause=1000/videoFPS;
	Mat framePrePre; //上上一帧
	Mat framePre; //上一帧
	Mat frameNow; //当前帧
	Mat frameDet; //运动物体
	videoCap>>framePrePre;
	videoCap>>framePre;
	cvtColor(framePrePre,framePrePre,CV_RGB2GRAY);	
	cvtColor(framePre,framePre,CV_RGB2GRAY);	
	int save=0;
	while(true)
	{
		videoCap>>frameNow;
		if(frameNow.empty()||waitKey(videoPause)==27)
		{
			break;
		}
		cvtColor(frameNow,frameNow,CV_RGB2GRAY);	
		Mat Det1;
		Mat Det2;
		absdiff(framePrePre,framePre,Det1);  //帧差1
		absdiff(framePre,frameNow,Det2);     //帧差2
		threshold(Det1,Det1,0,255,CV_THRESH_OTSU);  //自适应阈值化
		threshold(Det2,Det2,0,255,CV_THRESH_OTSU);
		Mat element=getStructuringElement(0,Size(3,3));  //膨胀核
		dilate(Det1,Det1,element);    //膨胀
		dilate(Det2,Det2,element);
		bitwise_and(Det1,Det2,frameDet);		
		framePrePre=framePre;		
		framePre=frameNow;		
		imshow("Video",frameNow);
		imshow("Detection",frameDet);
	}
	return 0;
}

同样是“ 768x576.avi ”视频文件，并且也保存了第100帧的原始图像和运动物体检测图像：

未经形态学处理的原始的三帧差法检测到的运动物体：

未经任何形态学处理的原始的三帧差法检测到的物体的双边轮廓现象有所改善，但同时也有丢失轮廓的现象。

下图是在两个帧差图像按位与操作之前做了一下膨胀处理的效果：

相比相邻两帧差法，原始的三帧差法对物体的双边粗轮廓和“鬼影”现象有所改善，比较适合对运动速度较快物体的检测，但是仍然会有空洞出现，并且物体移动速度较慢时容易丢失轮廓。

当然三帧差法做了两次的差分运算，给了三帧差法更多可操作和优化的空间，为更优秀的检测效果提供了可能。