ViBe前景检测

最新推荐文章于 2022-06-26 06:30:57 发布

HuanChan

最新推荐文章于 2022-06-26 06:30:57 发布

阅读量1k

点赞数 1

分类专栏： opencv算法计算机视觉文章标签： opencv 算法

计算机视觉同时被 2 个专栏收录

1 篇文章 0 订阅

订阅专栏

opencv算法

0 篇文章 0 订阅

订阅专栏

1、原理

一讲到原理，本人就喜欢推荐其他博主的博客，因为我觉得他们都已经写得非常好了，好资源就是要被传播，被共享的，所以对于原理的问题，我一样推荐一个博客给大家。

①、背景建模或前景检测(Background Generation And Foreground Detection) 五 ViBe

这篇文章可以说是ViBe原文的精华版，对这个算法的理论基础和精髓理解的非常透彻，甚至连实验对比结果和效果图都给大家贴出来了，都是原文的图片。

也希望大家看完这篇精华版之后，有初步了解之后可以去看一下原文，原文第一部分概述了各种各样的前景检测算法，第二部分开始讲ViBe，其中作者说了一句，背景减法技术一般都要解决三个问题：1、用到什么模型，并且它的工作原理，2、如何初始化这个模型，3、随着时间的推移，如何更新这个模型，于是作者也就从这三个方面介绍了ViBe算法，最后一部分就是各种实验结果和对比。

接下来给大家推荐一个代码版本，现在的OpenCV也有ViBe库函数提供，但是是在CUDA平台下的。

②、运动检测（前景检测）之（一）ViBe

这位博主主要的代码都是用到OpenCV的Mat格式存储数据和调用数据，所以速度有点慢，于是本人做了小小的修改，快了些许，代码会在下面贴出。

同样也贴出另外一位博主的代码，没仔细看，希望有空可以研究一下

③、 VIBE运动目标检测算法实现

2、代码实现

Vibe.h

#include <iostream>
#include "opencv2/opencv.hpp"

using namespace cv;
using namespace std;

#define NUM_SAMPLES 20		//每个像素点的样本个数
#define MIN_MATCHES 2		//#min指数
#define RADIUS 20		//Sqthere半径
#define SUBSAMPLE_FACTOR 16	//子采样概率


class ViBe_BGS
{
public:
  ViBe_BGS(void);
  ~ViBe_BGS(void);

  void init(const Mat _image);   //初始化
  void processFirstFrame(const Mat _image);
  void testAndUpdate(const Mat _image);  //更新
  Mat getMask(void){return m_mask;};
  void deleteSamples(){delete samples;};

private:
  unsigned char ***samples;
//	float samples[1024][1024][NUM_SAMPLES+1];//保存每个像素点的样本值

/*
  Mat m_samples[NUM_SAMPLES];
  Mat m_foregroundMatchCount;*/

  Mat m_mask;
};

Vibe.cpp

#include "ViBe.h"

using namespace std;
using namespace cv;

int c_xoff[9] = {-1,  0,  1, -1, 1, -1, 0, 1, 0};  //x的邻居点
int c_yoff[9] = {-1,  0,  1, -1, 1, -1, 0, 1, 0};  //y的邻居点

ViBe_BGS::ViBe_BGS(void)
{

}
ViBe_BGS::~ViBe_BGS(void)
{

}

/**************** Assign space and init ***************************/
void ViBe_BGS::init(const Mat _image)
{
  //动态分配三维数组，samples[][][NUM_SAMPLES]存储前景被连续检测的次数
  samples=new unsigned char **[_image.rows];
  for (int i=0;i<_image.rows;i++)
  {
    samples[i]=new unsigned char *[1024];
    for (int j=0;j<_image.cols;j++)
    {
      samples[i][j]=new unsigned char [NUM_SAMPLES+1];	
      for (int k=0;k<NUM_SAMPLES+1;k++)
      {
        samples[i][j][k]=0;
      }
      
    }
    
  }
  m_mask = Mat::zeros(_image.size(),CV_8UC1);
}

/**************** Init model from first frame ********************/
void ViBe_BGS::processFirstFrame(const Mat _image)
{
  RNG rng;
  int row, col;

  for(int i = 0; i < _image.rows; i++)
  {
    for(int j = 0; j < _image.cols; j++)
    {
      for(int k = 0 ; k < NUM_SAMPLES; k++)
      {
        // Random pick up NUM_SAMPLES pixel in neighbourhood to construct the model
        int random = rng.uniform(0, 9);

        row = i + c_yoff[random];
        if (row < 0) 
          row = 0;
        if (row >= _image.rows)
          row = _image.rows - 1;

        col = j + c_xoff[random];
        if (col < 0) 
          col = 0;
        if (col >= _image.cols)
          col = _image.cols - 1;

        samples[i][j][k]=_image.at<uchar>(row, col);
      }
    }
  }
}

/**************** Test a new frame and update model ********************/
void ViBe_BGS::testAndUpdate(const Mat _image)
{
  RNG rng;

  for(int i = 0; i < _image.rows; i++)
  {
    for(int j = 0; j < _image.cols; j++)
    {
      int matches(0), count(0);
      int dist;

      while(matches < MIN_MATCHES && count < NUM_SAMPLES)
      {
        dist = abs(samples[i][j][count] - _image.at<uchar>(i, j));
        if (dist < RADIUS)
          matches++;
        count++;
      }

      if (matches >= MIN_MATCHES)
      {
        // It is a background pixel
        samples[i][j][NUM_SAMPLES]=0;

        // Set background pixel to 0
        m_mask.at<uchar>(i, j) = 0;

        // 如果一个像素是背景点，那么它有 1 / defaultSubsamplingFactor 的概率去更新自己的模型样本值
        int random = rng.uniform(0, SUBSAMPLE_FACTOR);
        if (random == 0)
        {
          random = rng.uniform(0, NUM_SAMPLES);
          samples[i][j][random]=_image.at<uchar>(i, j);
        }

        // 同时也有 1 / defaultSubsamplingFactor 的概率去更新它的邻居点的模型样本值
        random = rng.uniform(0, SUBSAMPLE_FACTOR);
        if (random == 0)
        {
          int row, col;
          random = rng.uniform(0, 9);
          row = i + c_yoff[random];
          if (row < 0) 
            row = 0;
          if (row >= _image.rows)
            row = _image.rows - 1;

          random = rng.uniform(0, 9);
          col = j + c_xoff[random];
          if (col < 0) 
            col = 0;
          if (col >= _image.cols)
            col = _image.cols - 1;

          random = rng.uniform(0, NUM_SAMPLES);
          samples[i][j][random]=_image.at<uchar>(i, j);
        }
      }
      else
      {
        // It is a foreground pixel
        samples[i][j][NUM_SAMPLES]++;

        // Set background pixel to 255
        m_mask.at<uchar>(i, j) = 255;

        //如果某个像素点连续N次被检测为前景，则认为一块静止区域被误判为运动，将其更新为背景点
        if(samples[i][j][NUM_SAMPLES]>50)
        {
          int random = rng.uniform(0, NUM_SAMPLES);
          if (random == 0)
          {
            random = rng.uniform(0, NUM_SAMPLES);
            samples[i][j][random]=_image.at<uchar>(i, j);
          }
        }
      }
    }
  }
}

main.cpp

#include "ViBe.h"
#include <cstdio>

using namespace cv;
using namespace std;

int main(int argc, char* argv[])
{
  Mat frame, gray, mask;
  VideoCapture capture;
  capture.open(0);
  capture.set(CV_CAP_PROP_FRAME_WIDTH,320);
  capture.set(CV_CAP_PROP_FRAME_HEIGHT,240);
  if (!capture.isOpened())
  {
    cout<<"No camera or video input!\n"<<endl;
    return -1;
  }

  ViBe_BGS Vibe_Bgs;
  bool count =true;

  while (1)
  {
    capture >> frame;
    if (frame.empty())
      continue;

    cvtColor(frame, gray, CV_RGB2GRAY);
    if (count)
    {
      Vibe_Bgs.init(gray);
      Vibe_Bgs.processFirstFrame(gray);
      cout<<" Training ViBe complete!"<<endl;
      count=false;
    }
    else
    {
      Vibe_Bgs.testAndUpdate(gray);
      mask = Vibe_Bgs.getMask();
      morphologyEx(mask, mask, MORPH_OPEN, Mat());
      imshow("mask", mask);
    }


    imshow("input", frame);	

    if ( cvWaitKey(10) == 27 )
      break;
  }

  return 0;
}

3、实验结果

图1、背景图

图2、前景图

总结，这里就不再贴太多图出来了，大家可以下载代码自己去玩一玩，挺好玩的，这个算法在作者的论文中被说得各种好，各种极品，但是在我的电脑中没有体现那么神乎其神的效果，可能没有加上其他的一些预处理和后处理的缘故吧，也可能是电脑问题，但是总体来说，这个算法确实也不错，算法原理也容易理解，对Ghost区域也做了很好的处理，但是算法已经申请了专利，做做研究还是可以的，还是有很多发展空间，如果商用，那我就不知道会咋样咯。