混合高斯模型

混合高斯模型

1. 混合高斯模型基本原理

图像运动估计是计算机视觉中重要的部分，如何准确的在背景中提取出我们想要的目标是识别的关键。 运动物体的检测分为两种情况：第一种是摄像头静止，目标在运动，背景也相对静止。例如大部分的固定摄像头拍摄到的画面；第二种是摄像头运动，目标静止或者运动，这种情况比较复杂。例如航拍画面，人拿着摄像机录像等。

第一种情况，由于摄像头静止，所以背景相对来说是不变的，那么如果目标在运动，将某一帧图像减去背景图像，理论上来说就可以得到前景图像了。但是由于光线或者其他原因，背景中每个像素点的灰度值并不是固定不变的，它会随着环境变换而变化，但是背景的像素灰度值变换是具有一定规律的，如下图所示：

将图像中的某一像素点提取出来，其灰度值变换如上图所示，将其迭代起来，会符合高斯分布。

如果某一像素值 I（x,y,t)-u > 3o 则认为前景，否则认为是背景

但是，由于环境或者变化的光线影响，像素的变化规律不一定只符合一种高斯函数，可能是多个高斯函数的叠加，于是有了混合高斯模型的概念。 任何一种分布函数都可以看做是多个高斯分布的组合：

2. 混合高斯模型进行背景建模的基本思想

首先初始化预先定义的几个高斯模型，对高斯模型中的参数进行初始化，并求出之后将要用到的参数。其次，对于每一帧中的每一个像素进行处理，看其是否匹配某个模型，若匹配，则将其归入该模型中，并对该模型根据新的像素值进行新，若不匹配，则以该像素建立一个高斯模型，初始化参数，代替原有模型中最不可能的模型。最后选择前面几个最有可能的模型作为背景模型，为背景目标提取做铺垫。

1.每个新像素值Xt同当前K个模型按下式进行比较，直接找到匹配新像素值的分布模型，即同该模型的均值偏差在2.5σ内：

2.如果所匹配的模式符合背景要求，则该像素属于背景，否则属于前景。

3.各个模式权值按如下方式进行更新，其中a是学习速率，对于匹配的模式Mk,t=1,否则Mk,t=0，然后各模式的权重进行归一化：

4.未匹配模式的均值μ和标准差σ不变，匹配模式的参数按照如下更新：

5.如果，第一步中没有任何模式匹配，则权重最小的模式被替换，即该模式的均值为当前像素值，标准差为初始较大值，权重为较小值。

6.各模式根据w/a^2按降序排列，权重大、标准差小的模式排列在前。

7.选前B个模式作为背景，B满足下式，参数T表示背景所占的比例：

3.代码实现

import numpy as np
import cv2
import time
import datetime

colour=((0, 205, 205),(154, 250, 0),(34,34,178),(211, 0, 148),(255, 118, 72),(137, 137, 139))#定义矩形颜色

cap = cv2.VideoCapture("D:\jupyter\img/vtest.avi") #参数为0是打开摄像头，文件名是打开视频

fgbg = cv2.createBackgroundSubtractorMOG2()#混合高斯背景建模算法

fourcc = cv2.VideoWriter_fourcc(*'XVID')#设置保存图片格式
out = cv2.VideoWriter(datetime.datetime.now().strftime("%A_%d_%B_%Y_%I_%M_%S%p")+'.avi',fourcc, 10.0, (768,576))#分辨率要和原视频对应


while True:
    ret, frame = cap.read()  #读取图片
    fgmask = fgbg.apply(frame)

    element = cv2.getStructuringElement(cv2.MORPH_CROSS, (3, 3))  # 形态学去噪
    fgmask = cv2.morphologyEx(fgmask, cv2.MORPH_OPEN, element)  # 开运算去噪

    contours, hierarchy = cv2.findContours(fgmask.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) #寻找前景
    count=0
    for cont in contours:
        Area = cv2.contourArea(cont)  # 计算轮廓面积
        if Area < 300:  # 过滤面积小于10的形状
            continue

        count += 1  # 计数加一

        print("{}-prospect:{}".format(count,Area),end="  ") #打印出每个前景的面积

        rect = cv2.boundingRect(cont) #提取矩形坐标

        print("x:{} y:{}".format(rect[0],rect[1]))#打印坐标

        cv2.rectangle(frame,(rect[0],rect[1]),(rect[0]+rect[2],rect[1]+rect[3]),colour[count%6],1)#原图上绘制矩形
        cv2.rectangle(fgmask,(rect[0],rect[1]),(rect[0]+rect[2],rect[1]+rect[3]),(0xff, 0xff, 0xff), 1)  #黑白前景上绘制矩形

        y = 10 if rect[1] < 10 else rect[1]  # 防止编号到图片之外
        cv2.putText(frame, str(count), (rect[0], y), cv2.FONT_HERSHEY_COMPLEX, 0.4, (0, 255, 0), 1)  # 在前景上写上编号



    cv2.putText(frame, "count:", (5, 20), cv2.FONT_HERSHEY_COMPLEX, 0.6, (0, 255, 0), 1) #显示总数
    cv2.putText(frame, str(count), (75, 20), cv2.FONT_HERSHEY_COMPLEX, 0.6, (0, 255, 0), 1)
    print("----------------------------")

    cv2.imshow('frame', frame)#在原图上标注
    cv2.imshow('frame2', fgmask)  # 以黑白的形式显示前景和背景
    out.write(frame)
    k = cv2.waitKey(30)&0xff  #按esc退出
    if k == 27:
        break


out.release()#释放文件
cap.release()
cv2.destoryAllWindows()#关闭所有窗口

4. 实现效果图