运动检测(前景检测)之——ViBe
目前前景检测的研究还是很多的,也出现了很多新的方法和思路。个人了解的大概概括为以下一些:
帧差、背景减除(GMM、CodeBook、 SOBS、 SACON、 VIBE、 W4、多帧平均……)、光流(稀疏光流、稠密光流)、运动竞争(Motion Competition)、运动模版(运动历史图像)、时间熵……等等。如果加上他们的改进版,那就是很大的一个家族了。
至于哪个最好,看使用环境吧,各有千秋,有一些适用的情况更多,有一些在某些情况下表现更好。这些都需要针对自己的使用情况作测试确定的。呵呵。
推荐一个牛逼的库:http://code.google.com/p/bgslibrary/里面包含了各种背景减除的方法,可以让自己少做很多力气活。
还有王先荣博客上存在不少的分析:
http://www.cnblogs.com/xrwang/archive/2010/02/21/ForegroundDetection.html
本文主要关注其中的一种背景减除方法:ViBe。stellar0的博客上对ViBe进行了分析,我这里就不再啰嗦了,具体的理论可以参考:
http://blog.csdn.net/charlene_bo/article/details/62881857
http://www2.ulg.ac.be/telecom/research/vibe/
http://blog.csdn.net/stellar0/article/details/8777283
http://blog.csdn.net/yongshengsilingsa/article/details/6659859
http://www2.ulg.ac.be/telecom/research/vibe/download.html
http://www.cvchina.info/2011/12/25/vibe/
《ViBe: A universal background subtraction algorithm for video sequences》
《ViBe: a powerful technique for background detection and subtraction in video sequences》
运动目标前景检测之ViBe源代码分析
一方面为了学习,一方面按照老师和项目的要求接触到了前景提取的相关知识,具体的方法有很多,帧差、背景减除(GMM、CodeBook、 SOBS、 SACON、 VIBE、 W4、多帧平均……)、光流(稀疏光流、稠密光流)、运动竞争(Motion Competition)、运动模版(运动历史图像)、时间熵……等等。
更为具体的资料可以参考一下链接,作者做了很好的总结。点击打开链接http://blog.csdn.net/zouxy09/article/details/9622285
我只要针对作者提供的源代码,加上我的理解最代码捉了做了相关的注释,便于自己对代码的阅读和与大家的交流,如果不妥之处,稀罕大家多多提出,共同进步
ViBe.h(头文件,一般做申明函数、类使用,不做具体定义)
- #pragma once
- #include <iostream>
- #include "opencv2/opencv.hpp"
- using namespace cv;
- using namespace std;
- #define NUM_SAMPLES 20 //每个像素点的样本个数
- #define MIN_MATCHES 2 //#min指数
- #define RADIUS 20 //Sqthere半径
- #define SUBSAMPLE_FACTOR 16 //子采样概率,决定背景更新的概率
- class ViBe_BGS
- {
- public:
- ViBe_BGS(void); //构造函数
- ~ViBe_BGS(void); //析构函数,对开辟的内存做必要的清理工作
- void init(const Mat _image); //初始化
- void processFirstFrame(const Mat _image); //利用第一帧进行建模
- void testAndUpdate(const Mat _image); //判断前景与背景,并进行背景跟新
- Mat getMask(void){return m_mask;}; //得到前景
- private:
- Mat m_samples[NUM_SAMPLES]; //每一帧图像的每一个像素的样本集
- Mat m_foregroundMatchCount; //统计像素被判断为前景的次数,便于跟新
- Mat m_mask; //前景提取后的一帧图像
- };
ViBe.cpp(上面所提到的申明的具体定义)
- #include <opencv2/opencv.hpp>
- #include <iostream>
- #include "ViBe.h"
- using namespace std;
- using namespace cv;
- int c_xoff[9] = {-1, 0, 1, -1, 1, -1, 0, 1, 0}; //x的邻居点,9宫格
- int c_yoff[9] = {-1, 0, 1, -1, 1, -1, 0, 1, 0}; //y的邻居点
- ViBe_BGS::ViBe_BGS(void)
- {
- }
- ViBe_BGS::~ViBe_BGS(void)
- {
- }
- /**************** Assign space and init ***************************/
- void ViBe_BGS::init(const Mat _image) //成员函数初始化
- {
- for(int i = 0; i < NUM_SAMPLES; i++) //可以这样理解,针对一帧图像,建立了20帧的样本集
- {
- m_samples[i] = Mat::zeros(_image.size(), CV_8UC1); //针对每一帧样本集的每一个像素初始化为8位无符号0,单通道
- }
- m_mask = Mat::zeros(_image.size(),CV_8UC1); //初始化
- m_foregroundMatchCount = Mat::zeros(_image.size(),CV_8UC1); //每一个像素被判断为前景的次数,初始化
- }
- /**************** Init model from first frame ********************/
- void ViBe_BGS::processFirstFrame(const Mat _image)
- {
- RNG rng; //随机数产生器
- int row, col;
- for(int i = 0; i < _image.rows; i++)
- {
- for(int j = 0; j < _image.cols; j++)
- {
- for(int k = 0 ; k < NUM_SAMPLES; k++)
- {
- // Random pick up NUM_SAMPLES pixel in neighbourhood to construct the model
- int random = rng.uniform(0, 9); //随机产生0-9的随机数,主要用于定位中心像素的邻域像素
- row = i + c_yoff[random]; //定位中心像素的邻域像素
- if (row < 0) //下面四句主要用于判断是否超出边界
- row = 0;
- if (row >= _image.rows)
- row = _image.rows - 1;
- col = j + c_xoff[random];
- if (col < 0) //下面四句主要用于判断是否超出边界
- col = 0;
- if (col >= _image.cols)
- col = _image.cols - 1;
- m_samples[k].at<uchar>(i, j) = _image.at<uchar>(row, col); //将相应的像素值复制到样本集中
- }
- }
- }
- }
- /**************** Test a new frame and update model ********************/
- void ViBe_BGS::testAndUpdate(const Mat _image)
- {
- RNG rng;
- for(int i = 0; i < _image.rows; i++)
- {
- for(int j = 0; j < _image.cols; j++)
- {
- int matches(0), count(0);
- float dist;
- while(matches < MIN_MATCHES && count < NUM_SAMPLES) //逐个像素判断,当匹配个数大于阀值MIN_MATCHES,或整个样本集遍历完成跳出
- {
- dist = abs(m_samples[count].at<uchar>(i, j) - _image.at<uchar>(i, j)); //当前帧像素值与样本集中的值做差,取绝对值
- if (dist < RADIUS) //当绝对值小于阀值是,表示当前帧像素与样本值中的相似
- matches++;
- count++; //取样本值的下一个元素作比较
- }
- if (matches >= MIN_MATCHES) //匹配个数大于阀值MIN_MATCHES个数时,表示作为背景
- {
- // It is a background pixel
- m_foregroundMatchCount.at<uchar>(i, j) = 0; //被检测为前景的个数赋值为0
- // Set background pixel to 0
- m_mask.at<uchar>(i, j) = 0; //该像素点值也为0
- // 如果一个像素是背景点,那么它有 1 / defaultSubsamplingFactor 的概率去更新自己的模型样本值
- int random = rng.uniform(0, SUBSAMPLE_FACTOR); //以1 / defaultSubsamplingFactor概率跟新背景
- if (random == 0)
- {
- random = rng.uniform(0, NUM_SAMPLES);
- m_samples[random].at<uchar>(i, j) = _image.at<uchar>(i, j);
- }
- // 同时也有 1 / defaultSubsamplingFactor 的概率去更新它的邻居点的模型样本值
- random = rng.uniform(0, SUBSAMPLE_FACTOR);
- if (random == 0)
- {
- int row, col;
- random = rng.uniform(0, 9);
- row = i + c_yoff[random];
- if (row < 0) //下面四句主要用于判断是否超出边界
- row = 0;
- if (row >= _image.rows)
- row = _image.rows - 1;
- random = rng.uniform(0, 9);
- col = j + c_xoff[random];
- if (col < 0) //下面四句主要用于判断是否超出边界
- col = 0;
- if (col >= _image.cols)
- col = _image.cols - 1;
- random = rng.uniform(0, NUM_SAMPLES);
- m_samples[random].at<uchar>(row, col) = _image.at<uchar>(i, j); //模型样本值更新
- }
- }
- else //匹配个数小于阀值MIN_MATCHES个数时,表示作为前景
- {
- // It is a foreground pixel
- m_foregroundMatchCount.at<uchar>(i, j)++; //检测为前景的个数加1
- // Set background pixel to 255
- m_mask.at<uchar>(i, j) =255; //前景点用白色(255)表示
- //如果某个像素点连续N次(这里为50次)被检测为前景,则认为一块静止区域被误判为运动,将其更新为背景点
- if (m_foregroundMatchCount.at<uchar>(i, j) > 50)
- {
- int random = rng.uniform(0, SUBSAMPLE_FACTOR);
- if (random == 0)
- {
- random = rng.uniform(0, NUM_SAMPLES);
- m_samples[random].at<uchar>(i, j) = _image.at<uchar>(i, j);
- }
- }
- }
- }
- }
- }
main.cpp(你懂的……)
- #include <opencv2/opencv.hpp>
- #include "ViBe.h"
- #include <iostream>
- #include <cstdio>
- #include<stdlib.h>
- using namespace cv;
- using namespace std;
- int main(int argc, char* argv[])
- {
- Mat frame, gray, mask;
- VideoCapture capture;
- capture.open("E:\\overpass\\11.avi"); //输入视频地址
- if (!capture.isOpened())
- {
- cout<<"No camera or video input!\n"<<endl;
- return -1;
- }
- ViBe_BGS Vibe_Bgs; //定义一个背景差分对象
- int count = 0; //帧计数器,统计为第几帧
- while (1)
- {
- count++;
- capture >> frame;
- if (frame.empty())
- break;
- cvtColor(frame, gray, CV_RGB2GRAY); //转化为灰度图像
- if (count == 1) //若为第一帧
- {
- Vibe_Bgs.init(gray);
- Vibe_Bgs.processFirstFrame(gray); //背景模型初始化
- cout<<" Training GMM complete!"<<endl;
- }
- else
- {
- Vibe_Bgs.testAndUpdate(gray);
- mask = Vibe_Bgs.getMask(); //计算前景
- morphologyEx(mask, mask, MORPH_OPEN, Mat()); //形态学处理消除前景图像中的小噪声,这里用的开运算
- imshow("mask", mask);
- }
- imshow("input", frame);
- if ( cvWaitKey(10) == 'q' ) //键盘键入q,则停止运行,退出程序
- break;
- }
- system("pause");
- return 0;
- }