转载于:http://blog.csdn.net/angl129/article/details/29887783
背景建模
在摄像机静止的情况下,背景减法是一种较常见的运动目标检测方法。它利用当前帧和参考帧(背景模型)之差进行运动物体的检测,如下图所示;这些运动的物体一般就是我们感兴趣的目标,即前景检测。详细的描述可参考:http://docs.opencv.org/trunk/doc/tutorials/video/background_subtraction/background_subtraction.html
一、 背景建模的一般方法
背景建模的一般方法可分为:帧差、中值滤波、高斯平均、混合高斯、Vibe和以纹理为特征的背景建模等。 http://www.cnblogs.com/xrwang/archive/2010/02/21/ForegroundDetection.html
vibe具体描述可参考: http://blog.sciencenet.cn/blog-722391-571072.html ;http://blog.csdn.net/stellar0/article/details/8777283
其存在的主要问题有:光照的缓慢变化及突变两种情况、动态背景、相似、阴影和噪声等。不同的方法在某些方面表现的较优的性能,很少有某一方法能在各个方面都呈现出最优的情况,所以需针对不同的应用场景选择最合适的方法。在这里主要是结合Opencv的实现对混合高斯背景模型进行介绍和分析。背景混合模型中,每个像素的强度值由一个高斯混合模型来表示,通过一定的方法判断那些强度值更倾向于背景。
二、Opencv实现过程
OpenCV中用于实现混合高斯前景分割的方法,主要有BackgroundSubtractorMOG和BackgroundSubtractorMOG2两个类。这2个类都继承BackgroundSubtractor类,其定义如下:
- class BackgroundSubtractor : public Algorithm
- {
- public:
- virtual ~ BackgroundSubtractor();
- virtual void operator()(InputArray image, OutputArray fgmask,double learningRate=0);
- virtual void getBackgroundImage( OutputArray backgroundImage) const;
- }
其成员函数的功能如下:
- 1)void BackgroundSubtractor::operator()(InputArray image, OutputArray fgmask,double learningRate=0)
功能:计算前景掩膜(foreground mask)
参数:image-视频帧
fgmask-输出前景掩膜,为8-bit的二进制图像
- 2)void BackgroundSubtractor::getBackgroundImage( OutputArray backgroundImage) const
功能:获得背景图像
参数:backgroundImage-输出的背景图像
下面主要总结OpenCV中实现高斯混合背景建模的二个类:
1、BackgroundSubtractorMOG类
1)构造函数
- BackgroundSubtractorMOG::BackgroundSubtractorMOG()
- BackgroundSubtractorMOG::BackgroundSubtractorMOG(int history,int nmixtures,double backgroundRatio,double noiseSigma=0)
其构造函数有2个,若采取默认的构造函数,则对应的参数将取默认值;第二个构造函数中参数对应为:
history—历史视频帧的长度
nmixtures---混合高斯的数目
backgroundRatio---背景比例
noiseSigma-----噪声强度
2)operator() 函数
功能:更新背景模型并返回前景掩膜
具体实现:
- void BackgroundSubtractorMOG::operator()(InputArray _image, OutputArray _fgmask, double learningRate)
- {
- Mat image = _image.getMat();
- bool needToInitialize = nframes == 0 || learningRate >= 1 || image.size() != frameSize || image.type() != frameType;
- if( needToInitialize )
- initialize(image.size(), image.type());
- CV_Assert( image.depth() == CV_8U );
- _fgmask.create( image.size(), CV_8U );
- Mat fgmask = _fgmask.getMat();
- ++nframes;
- learningRate = learningRate >= 0 && nframes > 1 ? learningRate : 1./min( nframes, history ); //根据学习率和帧数确定当前学习率大小
- CV_Assert(learningRate >= 0);
- if( image.type() == CV_8UC1 ) //根据图像的通道数确定处理的函数
- process8uC1( image, fgmask, learningRate, bgmodel, nmixtures, backgroundRatio, varThreshold, noiseSigma );
- else if( image.type() == CV_8UC3 )
- process8uC3( image, fgmask, learningRate, bgmodel, nmixtures, backgroundRatio, varThreshold, noiseSigma );
- else
- CV_Error( CV_StsUnsupportedFormat, "Only 1- and 3-channel 8-bit images are supported in BackgroundSubtractorMOG" );
- }
可看出,高斯混合背景建模具体功能主要由process8uc1()和process8uc3()两个函数实现,这两个函数的具体实现可参考OpenCV源代码目录下\sources\modules\video\src\bgfg_gaussmix.cpp文件。
2、BackgroundSubtractorMOG2类
1)构造函数
- BackgroundSubtractorMOG2::BackgroundSubtractorMOG2()
- BackgroundSubtractorMOG2::BackgroundSubtractorMOG2(int history,float varThreshold,bool bShadowDetection=true)
其中第二个构造函数的参数定义如下:
history-历史帧的长度
varThreshold-变量的阈值
bShadowDetection-是否进行阴影的检测
2)operator()函数
更新背景模型并返回前景掩膜,与BackgroundSubtractorMOG类中operator()函数实现相同的功能。
具体实现:
- void BackgroundSubtractorMOG2::operator()(InputArray _image, OutputArray _fgmask, double learningRate)
- {
- Mat image = _image.getMat();
- bool needToInitialize = nframes == 0 || learningRate >= 1 || image.size() != frameSize || image.type() != frameType;
- if( needToInitialize )
- initialize(image.size(), image.type());
- _fgmask.create( image.size(), CV_8U );
- Mat fgmask = _fgmask.getMat();
- ++nframes;
- learningRate = learningRate >= 0 && nframes > 1 ? learningRate : 1./min( 2*nframes, history );
- CV_Assert(learningRate >= 0);
- parallel_for_(Range(0, image.rows),
- MOG2Invoker(image, fgmask,
- (GMM*)bgmodel.data,
- (float*)(bgmodel.data + sizeof(GMM)*nmixtures*image.rows*image.cols),
- bgmodelUsedModes.data, nmixtures, (float)learningRate,
- (float)varThreshold,
- backgroundRatio, varThresholdGen,
- fVarInit, fVarMin, fVarMax, float(-learningRate*fCT), fTau,
- bShadowDetection, nShadowDetection));
- }
该函数实现中主要是parallel_for_()函数,其中背景建模的功能的实现主要是struct MOG2Invoker : ParallelLoopBody{}这一结构体,其具体的定义参考sources\modules\video\src\bgfg_gaussmix2.cpp。
3)getBackgroundImage()函数
获取背景图像,是该类新实现的具体功能。具体实现:
- void BackgroundSubtractorMOG2::getBackgroundImage(OutputArray backgroundImage) const
- {
- int nchannels = CV_MAT_CN(frameType);
- CV_Assert( nchannels == 3 );
- Mat meanBackground(frameSize, CV_8UC3, Scalar::all(0));
- int firstGaussianIdx = 0;
- const GMM* gmm = (GMM*)bgmodel.data;
- const Vec3f* mean = reinterpret_cast<const Vec3f*>(gmm + frameSize.width*frameSize.height*nmixtures);
- for(int row=0; row<meanBackground.rows; row++)
- {
- for(int col=0; col<meanBackground.cols; col++)
- {
- int nmodes = bgmodelUsedModes.at<uchar>(row, col);
- Vec3f meanVal;
- float totalWeight = 0.f;
- for(int gaussianIdx = firstGaussianIdx; gaussianIdx < firstGaussianIdx + nmodes; gaussianIdx++)
- {
- GMM gaussian = gmm[gaussianIdx];
- meanVal += gaussian.weight * mean[gaussianIdx];
- totalWeight += gaussian.weight;
- if(totalWeight > backgroundRatio)
- break;
- }
- meanVal *= (1.f / totalWeight);
- meanBackground.at<Vec3b>(row, col) = Vec3b(meanVal);
- firstGaussianIdx += nmixtures;
- }
- }
- switch(CV_MAT_CN(frameType)) //根据视频帧的类型返回相应的背景图像
- {
- case 1:
- {
- vector<Mat> channels;
- split(meanBackground, channels);
- channels[0].copyTo(backgroundImage);
- break;
- }
- case 3:
- {
- meanBackground.copyTo(backgroundImage);
- break;
- }
- default:
- CV_Error(CV_StsUnsupportedFormat, "");
- }
- }
三、实例分析
以BackgroundSubtractorMOG2类为例:
- #include<iostream>
- #include<opencv2\core\core.hpp>
- #include<opencv2\highgui\highgui.hpp>
- #include<opencv2\imgproc\imgproc.hpp>
- #include<opencv2\video\background_segm.hpp>
- using namespace cv;
- using namespace std;
- void helpProcess()
- {
- cout<<"Opencv中背景减法的实例程序!\n";
- }
- int main()
- {
- helpProcess();
- VideoCapture video("Car.avi");
- Mat Frame,fgMask,bg;
- int FrameNum=0;
- if(!video.isOpened()) {printf("读取视频失败,请确认视频目录是否正确!\n");return false;}
- BackgroundSubtractorMOG2 bgSub; //定义背景减法的对象,以默认构造函数进行初始化
- while(video.read(Frame))
- {
- FrameNum++;
- cout<<FrameNum<<endl;
- bgSub(Frame,fgMask,0.001); //背景减法获取前景掩膜
- bgSub.getBackgroundImage(bg); //获取背景图像
- //显示
- imshow("Foreground mask",fgMask);
- imshow("Background Image",bg);
- waitKey(10);
- }
- return 0;
- }
对应运行结果:
背景建模受光照的缓慢变化及突变、阴影、图像噪声、动态背景,如晃动的树叶等等因素的影响,在不同的应用场景下,还需进行不同的处理。