《深度学习》OpenCV 背景建模 原理及案例解析

目录

一、背景建模

1、什么是背景建模

2、背景建模的方法

        1）帧差法(backgroundSubtractor)

        2）基于K近邻的背景/前景分割算法BackgroundSubtractorKNN

        3）基于高斯混合的背景/前景分割算法BackgroundSubtractorMOG2

3、步骤

        1）初始化背景模型

        2）处理每一帧图像

        3）计算帧差图像

        4）二值化处理

        5）前景检测

        6）更新背景模型

        7）重复以上步骤

二、案例实现

1、直接来看完整代码

        运行结果：

2、上述卷积核形态

1）矩形卷积核 MORPH_RECT

2）十字形卷积核 MORPH_CROSS

3）椭圆形卷积核 MORPH_ELLIPSE 

---

一、背景建模

1、什么是背景建模

        背景建模是指通过分析视频序列中的像素值变化情况，从中提取出静态背景部分，并将其用于目标检测、运动跟踪等计算机视觉任务中。在实际应用中，背景建模常用于视频监控、行人检测、车辆识别等领域。

        在视频中，背景通常被定义为相对稳定的部分，例如墙壁、地面或天空等。背景建模的目标是将动态的前景对象与静态的背景进行分离，以便进一步分析和处理。

2、背景建模的方法

        1）帧差法(backgroundSubtractor)

                该方法将连续的视频帧与背景进行比较，通过像素值的差异来提取前景目标。当像素差异超过设定的阈值时，将该像素标记为前景。该方法简单直观，适用于简单场景和静态背景。

                帧差法非常简单，但是会引入噪音和空洞(人物中间是黑色的)问题

        2）基于K近邻的背景/前景分割算法BackgroundSubtractorKNN

                该方法主要通过对每个像素周围的邻近像素进行聚类来建模背景。该算法将每个像素看作一个样本点，在每次输入新的观测帧时，将其与背景模型进行比较，并根据像素值的差异度量其是否为前景。BackgroundSubtractorKNN算法具有较快的处理速度和一定的鲁棒性，适用于实时背景建模和前景检测。

        3）基于高斯混合的背景/前景分割算法BackgroundSubtractorMOG2

                它假设每个像素的背景像素值服从多个高斯分布。算法通过对每个像素进行建模，并根据新的观测值进行更新，最终得到背景模型。当新的观测值与背景模型不匹配时，将其标记为前景。

                BackgroundSubtractorMOG2算法能够自适应地调整模型的数量和混合权重，适用于复杂场景和动态背景。

3、步骤

        1）初始化背景模型

                从视频序列或摄像头中获取第一帧图像作为初始背景图像。

        2）处理每一帧图像

                获取下一帧图像，将其与背景图像进行比较。

        3）计算帧差图像

                将当前帧图像与背景图像进行像素级别的差分计算，得到帧差图像。

        4）二值化处理

                将帧差图像转换为二值图像，根据设置的阈值将差异像素标记为前景或背景。

        5）前景检测

                根据二值化处理得到的前景图像，可以进行一系列处理，如轮廓检测、面积过滤等，以获得更精确的前景区域。

        6）更新背景模型

                在每一帧图像处理后，更新背景模型，可以采用移动平均或其他方法来更新背景的估计。

        7）重复以上步骤

                持续处理每一帧图像，直到视频序列结束或达到设定的停止条件。

二、案例实现

1、直接来看完整代码

import cv2
# 经典的测试视频
cap = cv2.VideoCapture('test.avi')   # 打开视频文件，或者打开摄像头
kernel = cv2.getStructuringElement(cv2.MORPH_CROSS,(3, 3))   # 设置卷积核形态，cv2.MORPH_CROSS表示设置的是十字形卷积核，大小为3*3
fgbg = cv2.createBackgroundSubtractorMOG2()   # 创建混合高斯模型，用于背最建模，从视频帧中分离出前景对象。

while 1:   # 定义一个死循环，用于反复从视频中提取出每一帧画面
    ret, frame = cap.read()   # 读取视频文件的每一帧画面，返回值ret为True表示正常读取到图像,frame表示从视频中获取当前一帧图片
    cv2.imshow( 'frame',frame)  # 展示读取到的每一帧画面，以此来构成视频的画面
    fgmask = fgbg.apply(frame)  # 调用高斯混合模型中的用法apply对获取到的每一帧图像进行前景背景分隔算法，生成一个背景掩码，这个背景掩码的大小是与输入图像大小相同的二值图像，前景为白色，背景为黑色
    cv2.imshow('fgmask', fgmask)  # 展示背景掩码对应的图像
    fgmask_new = cv2.morphologyEx(fgmask, cv2.MORPH_OPEN,kernel)  # 上述生成的掩码图像有很多噪声点，此处使用开运算，即先腐蚀后膨胀去除噪声点
    cv2.imshow( 'fgmask1',fgmask_new)   # 展示处理完的图像

    # 寻找视频中的轮廓
    _,contours, h = cv2.findContours(fgmask_new, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)   # 对上述处理完的图像进行轮廓检测，cv2.RETR_EXTERNAL表示只检测最外侧轮廓，cv2.CHAIN_APPROX_SIMPLE表示删除轮廓上冗余点来简化形状，只保留端点，并用线段连接
    # _表示修改后的图像，受OpenCV版本影响可能没有，contours是一个列表存放提取到的每一个轮廓，坐标点集的形式，h表示轮廓的层级信息
    for c in contours:   # 遍历每一个轮廓
        perimeter = cv2.arcLength(c,True)   # 计算轮廓周长
        if perimeter > 188:   # 判断轮廓周长的大小，用来筛选周长大于188的轮廓
            # 找到一个直矩形（不会旋转）
            x,y,w,h = cv2.boundingRect(c)   # 对输入的轮廓进行处理，返回该轮廓的坐标和高宽
            # 在原视频上绘制出这个轮廓的外接矩形
            fgmask_new_rect = cv2.rectangle(frame,(x,y),(x+w,y+h),(0,255,0),2)
    cv2.imshow('fgmask_new_rect',fgmask_new_rect)   # 展示绘制的图像
    k = cv2.waitKey(60)
    if k == 27:   # 勇于接收键盘esc键，以此来中断死循环
        break

        运行结果：

2、上述卷积核形态

1）矩形卷积核 MORPH_RECT

2）十字形卷积核 MORPH_CROSS

3）椭圆形卷积核 MORPH_ELLIPSE