OpenCV 背景差分法

OpenCV 背景差分法 Background Subtraction Methods(BS)

在这篇博文中，您将学会如何用Python调用OpenCV，进行背景差分(Background Subtraction)。

背景差分法是一种被广泛应用的技术，我们可以利用背景差分法，通过架设的固定位置的相机（static camera）来得到前景或者移动目标在图像中所在的位置（foreground mask）。

就像背景差分法这个名字所说的那样，这种方法是通过把当前帧（current frame）的每一个像素与背景模板（background model）每一个像素做减法，来判断这个像素是属于前景还是背景。

背景差分法可以应用与很多领域，比如日常的安防监控，我们可以通过背景差分法来判断监控视频中是否有人来回走动，快速的定位有人活动的视频片段。也可以在野外架设摄像头，用这种方法快速定位有野生动物的出没的视频片段！

而且，背景差分法是一种计算资源需求比较小的算法，我们可以在嵌入式设备，比如树莓派（Raspberry Pi）或者Jetson Nano中部署它。

OpenCV中为我们提供了很多种背景差分的方法，我们在实际项目中可以选择一种方法来进行背景差分，方法种类如下：

从图中我们可以看到，OpenCV中的背景差分法一共分为三类cv下面一类，cv::bgsegm下面一类，还有提供了cuda加速的cv::cuda一类，在这篇博文中，我将向大家介绍最常用的MOG2和KNN这两种方法。

BackgroundSubtractorMOG2

这个是以高斯混合模型（GMM）为基础的背景/前景分割算法（关于GMM，大家可以看两篇知乎的帖子：一文详解高斯混合模型原理，高斯混合模型（GMM））。它是以 2004 年和 2006 年 Z.Zivkovic 的两篇文章为基础的，分别是"Improved adaptive Gaussian mixture model for background subtraction" 和 “Efficient Adaptive Density Estimation per Image Pixel for the Task of Background Subtraction” 。这个算法的一个特点是它为每一个像素选择一个合适数目的高斯分布。。它能更好地适应光照不同等各种场景。 我们需要创建一个背景对象。但在这里我们我们可以选择是否检测阴影。如果 detectShadows = True（默认值），它就会检测并将影子标记出来，但是这样做会降低处理速度。影子会被标记为灰色。

import numpy as np
import cv2 as cv

cap = cv.VideoCapture('vtest.avi')	# read from a video file
# cap = cv.VideoCapture(0)   # read from a webcam
fgbg = cv.createBackgroundSubtractorMOG2()

while(1):
    ret, frame = cap.read()
    fgmask = fgbg.apply(frame)
    cv.imshow('frame',fgmask)
    k = cv.waitKey(30) & 0xff
    if k == 27:
        break

cap.release()
cv.destroyAllWindows()

BackgroundSubtractorKNN

这是一个基于K最近邻（分类算法之邻近算法:KNN（理论篇））的背景前景区分算法，当前景像素数量比较少的时候，算法运行得会非常快。在OpenCV中的调用方式与MOG2很类似，我们只需要把

fgbg = cv.createBackgroundSubtractorMOG2() 换成 fgbg = cv.createBackgroundSubtractorKNN()

即可。或者你如果熟悉argparse，你也可以使用输入变量给python文件的方法来改变使用的背景提取算法。 capture = cv.VideoCapture(0)的时候，就会打开摄像头。

from __future__ import print_function
import cv2 as cv
import argparse

parser = argparse.ArgumentParser(description='This program shows how to use background subtraction methods provided by \
                                              OpenCV. You can process both videos and images.')
parser.add_argument('--input', type=str, help='Path to a video or a sequence of image.', default='vtest.avi')
parser.add_argument('--algo', type=str, help='Background subtraction method (KNN, MOG2).', default='MOG2')
args = parser.parse_args()
if args.algo == 'MOG2':
    backSub = cv.createBackgroundSubtractorMOG2()
else:
    backSub = cv.createBackgroundSubtractorKNN()
capture = cv.VideoCapture(cv.samples.findFileOrKeep(args.input))

if not capture.isOpened:
    print('Unable to open: ' + args.input)
    exit(0)
while True:
    ret, frame = capture.read()

    if frame is None:
        break

    # fgMask = backSub.apply(frame,learningRate=0)
    fgMask = backSub.apply(frame)
    cv.rectangle(frame, (10, 2), (100, 20), (255, 255, 255), -1)
    cv.putText(frame, str(capture.get(cv.CAP_PROP_POS_FRAMES)), (15, 15),
               cv.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 0))

    cv.imshow('Frame', frame)
    cv.imshow('FG Mask', fgMask)

    keyboard = cv.waitKey(30)
    if keyboard == 'q' or keyboard == 27:
        break

fgMask = backSub.apply(frame) 这个函数中learningRate 默认是-1,就是自动调节，这样我们的背景模板是动态变化的，因此，这时候的背景提取算法只对移动的目标感兴趣。

如果我们想要的不是对移动的目标感兴趣，而是对与背景不同的目标感兴趣，我们可以这样做fgMask = backSub.apply(frame, learningRate=0) 这样就会停止背景模板的更新。

当然，在想这么做之前，要先把摄像头的自动亮度和自动调焦距的功能关掉（可以参考我的另一篇CSDN），否则噪声会非常多。更多的关于OpenCV 背景差分法和更多OpenCV 的知识，欢迎大家到我的视频课《OpenCV从萌新到专家》中收看，谢谢大家的支持！