【OpenCV学习系列】之Background Subtraction

Background Subtraction简介

　　背景减法是一种使用静态相机生成前景掩模(即包含场景中运动物体的像素的二值图像)的常用技术。背景减法通过计算前景掩模，在当前帧和背景模型之间进行减法，包含场景的静态部分，或者考虑到所观察场景的特征，所有可以被视为背景的东西。通过应用背景减除策略可以分离出运动的物体前景，这个在视频中可以作为视频目标检测的一种预处理手段。背景减法主要包括以下几种方法：

1. KNN(K-nearest neighbours) K近邻算法；
2. MOG(Gaussian Mixture-based Background/Froeground Segmentation Algorithm) 高斯混合模型分离算法；
3. MOG2 改进版MOG算法；
4. GMG 该算法统计背景图像估计与像素贝叶斯分割；

背景减法通过下方一张图就可以看出整个流程：

通过上图我们可以看到整个流程：

1. 背景初始化；
2. 当前帧与背景帧做减法，通过判断阈值进行二值化；
3. 后处理(可选)，进行膨胀腐蚀操作来优化二值化后的图像散点；
4. 背景更新；

代码分析

下面通过OpenCV的提供C++ API来进行简单的demo演示代码。

#include <iostream>
#include <sstream>
#include <opencv2/imgcodecs.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/videoio.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/video.hpp>

//"{ help h         |           | Print usage }"
//"{ input          | vtest.avi | Path to a video or a sequence of image }"
//"{ algo           | MOG2      | Background subtraction method (KNN, MOG2) }";

int main(void)
{
	std::string bs_named = "MOG2";
	//create Background Subtractor objects
	cv::Ptr<cv::BackgroundSubtractor> pBackSub;
	if (bs_named == "MOG2")
		pBackSub = cv::createBackgroundSubtractorMOG2();
	else
		pBackSub = cv::createBackgroundSubtractorKNN();

	std::string file = "D:\\opencv-4.1.0\\sources\\samples\\data\\vtest.avi";

	cv::VideoCapture capture(file);
	if (!capture.isOpened()) 
	{
		//error in opening the video input
		std::cerr << "Unable to open: " << file << std::endl;
		return 0;
	}
	cv::Mat frame, fgMask;
	while (true) 
	{
		capture >> frame;
		if (frame.empty())
			break;
		//update the background model
		pBackSub->apply(frame, fgMask);
		//get the frame number and write it on the current frame
		cv::rectangle(frame, cv::Point(10, 2), cv::Point(100, 20), cv::Scalar(255, 255, 255), -1);
		std::stringstream ss;
		ss << capture.get(cv::CAP_PROP_POS_FRAMES);
		std::string frameNumberString = ss.str();
		cv::putText(frame, frameNumberString.c_str(), cv::Point(15, 15), cv::FONT_HERSHEY_SIMPLEX, 0.5, cv::Scalar(0, 0, 0));
		//show the current frame and the fg masks
		cv::imshow("Frame", frame);
		cv::imshow("FG Mask", fgMask);
		//get the input from the keyboard
		int keyboard = cv::waitKey(30);
		if (keyboard == 'q' || keyboard == 27)
			break;
	}
	return 0;
}

Demo运行可视化

下面视频显示的背景切除，前景提取的效果可视化。

小结

　　上述贴的是通过MOG2背景减法的效果，可以看到背景减法后二值化的图片仍然会存在大量的孤立散点，这个时候可以通过膨胀与腐蚀相关操作，或者进行连通区域的计算来进行一定程度的去除。当然，先前在行人检测方面有过这样的背景减法预处理来提高行人目标检测。本文只是做个简单的demo演示，具体需要查看源码来研究算法的细节。

参考

How to Use Background Subtraction Methods