背景减除(Background Subtraction)是许多基于计算机视觉的任务中的主要预处理步骤。如果我们有完整的静止的背景帧,那么我们可以通过帧差法来计算像素差从而获取到前景对象。但是在大多数情况下,我们可能没有这样的图像,所以我们需要从我们拥有的任何图像中提取背景。当运动物体有阴影时,由于阴影也在移动,情况会变的变得更加复杂。为此引入了背景减除算法,通过这一方法我们能够从视频中分离出运动的物体前景,从而达到目标检测的目的。 OpenCV已经实现了几种非常容易使用的算法
KNN
KNN算法,即K-nearest neigbours - based Background/Foreground Segmentation Algorithm。2006年,由Zoran Zivkovic 和Ferdinand van der Heijden在论文"Efficient adaptive density estimation per image pixel for the task of background subtraction."中提出。
bs = cv2.createBackgroundSubtractorKNN(detectShadows=True)
fg_mask = bs.apply(frame)
MOG
MOG算法,即高斯混合模型分离算法,全称Gaussian Mixture-based Background/Foreground Segmentation Algorithm。2001年,由P.KadewTraKuPong和R.Bowden在论文“An improved adaptive background mixture model for real-time tracking with shadow detection”中提出。它使用一种通过K高斯分布的混合来对每个背景像素进行建模的方法(K = 3〜5)。
bs = cv2.bgsegm.createBackgroundSubtractorMOG(history=history)
bs.setHistory(history)
fg_mask = bs.apply(frame)
MOG2
MOG2算法,也是高斯混合模型分离算法,是MOG的改进算法。它基于Z.Zivkovic发布的两篇论文,即2004年发布的“Improved adaptive Gausian mixture model for background subtraction”和2006年发布的“Efficient Adaptive Density Estimation per Image Pixel for the Task of Background Subtraction”中提出。该算法的一个重要特征是 它为每个像素选择适当数量的高斯分布,它可以更好地适应不同场景的照明变化等。
bs = cv2.createBackgroundSubtractorMOG2(history=history, detectShadows=True)
bs.setHistory(history)
fg_mask = bs.apply(frame)
GMG
该算法结合统计背景图像估计和每像素贝叶斯分割。由 Andrew B. Godbehere, Akihiro Matsukawa, Ken Goldberg在2012年的文章“Visual Tracking of Human Visitors under Variable-Lighting Conditions for a Responsive Audio Art Installation”中提出。该算法使用前几个(默认为120)帧进行后台建模。它采用概率前景分割算法,使用贝叶斯推理识别可能的前景对象。
bs = cv2.bgsegm.createBackgroundSubtractorGMG(initializationFrames=history)
fg_mask = bs.apply(frame)
常用函数
#背景建模-(帧差法与混合高斯模型) # 1.cv2.VideoCapture(进行视频读取) # 2.cv2.getStructureElement(构造形态学的卷积) # 3.cv2.createBackgroundSubtractorMOG2(构造高斯混合模型) # 4.cv2.morpholyEx(对图像进行形态学的变化)
1. cv2.VideoCapture('test.avi') 进行视频读取
参数说明:‘test.avi’ 输入视频的地址
2. cv2.getStructureElement(cv2.MORPH_ELLIPSE, (3, 3)) # 构造一个全是1的kernel用于形态学的操作
参数说明:cv2.MORPH_ELLIPSE 生成全是1的kernel,(3, 3)表示size
3.cv2.createBackgroundSubtractorMOG2().apply(image) 对图像进行混合高斯模型
参数说明:image表示输入图片
4.cv2.morpholyEx(image, cv2.MORPH_OPEN, kernel) # 对图像进行开运算
参数说明:image表示输入图片, cv2.MORPH_OPEN 进行开运算,kernel表示卷积核
对于视频数据,将前景与物体背景进行分开
帧差法:
将连续两帧的图像数据进行差分法,即进行相减操作, 如果其相减后的绝对值大于阈值,则像素点变为255, 否则变为0,通过这种方法来找出视频中运动的物体
混合高斯模型:
将图像分为3-5个高斯模型,一个像素点来了,如果该像素点离任何一个高斯模型的距离大于其2倍的标准差,则为前景即运动物体,否则则是背景
步骤:第一步:初始各种参数
第二步:使用T帧图像构造模型,对于第一个帧图像的第一个像素点,使用u1,σ1构造高斯模型
第三步:对于一个新来的模型,如果该像素在高斯模型3*σ1内,则属于该高斯模型,对参数进行更新
第四步:如果不满足该高斯模型,重新建立一个新的高斯模型
代码:
第一步:使用cv2.VideoCapture() 构造读取模型
第二步:使用cv2.getStructureElement(cv2.MORPH_ELLIPSE, (3, 3)) # 构造形态学使用的kernel,即np.ones((3, 3), np.uint8)
第三步:构造cv2.createBackgroundSubtractorMOG2() 实例化混合高斯模型
第四步:cap.read()从视频中读取文件,并使用model.apply(frame) 使用上混合高斯模型
第五步:使用cv2.morpholyEx(image, cv2.MORPH_OPEN, kernel) 使用开运算进行噪音的去除
第六步:cv2.findCountours找出图片中的轮廓,对其进行循环
第七步:对于周长大于188的轮廓,使用cv2.boundingRect计算外接矩阵,使用cv2.rectangle画出外接矩阵,作为人
第八步:使用cv2.imshow()展示图片,使用cv2.waitkey(150) & 0xff == 27来延长放映的时间
import cv2
import numpy as np
# 第一步:使用cv2.VideoCapture读取视频
cap = cv2.VideoCapture('test.avi')
# 第二步:cv2.getStructuringElement构造形态学使用的kernel
kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3))
# 第三步:构造高斯混合模型
model = cv2.createBackgroundSubtractorMOG2()
while(True):
# 第四步:读取视频中的图片,并使用高斯模型进行拟合
ret, frame = cap.read()
# 运用高斯模型进行拟合,在两个标准差内设置为0,在两个标准差外设置为255
fgmk = model.apply(frame)
# 第五步:使用形态学的开运算做背景的去除
fgmk = cv2.morphologyEx(fgmk, cv2.MORPH_OPEN, kernel)
# 第六步:cv2.findContours计算fgmk的轮廓
contours = cv2.findContours(fgmk, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[1]
for c in contours:
# 第七步:进行人的轮廓判断,使用周长,符合条件的画出外接矩阵的方格
length = cv2.arcLength(c, True)
if length > 188:
(x, y, w, h) = cv2.boundingRect(c)
cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 255, 0), 2)
# 第八步:进行图片的展示
cv2.imshow('fgmk', fgmk)
cv2.imshow('frame', frame)
if cv2.waitKey(150) & 0xff == 27:
break
cap.release()
cv2.destroyAllWindows()
带方框的原始图片 进行高斯混合模型的图片
使用KNN根据前景面积检测运动物体
代码:
# coding:utf8
import cv2
def detect_video(video):
camera = cv2.VideoCapture(video)
history = 20 # 训练帧数
bs = cv2.createBackgroundSubtractorKNN(detectShadows=True) # 背景减除器,设置阴影检测
bs.setHistory(history)
frames = 0
while True:
res, frame = camera.read()
if not res:
break
fg_mask = bs.apply(frame) # 获取 foreground mask
if frames < history:
frames += 1
continue
# 对原始帧进行膨胀去噪
th = cv2.threshold(fg_mask.copy(), 244, 255, cv2.THRESH_BINARY)[1]
th = cv2.erode(th, cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3)), iterations=2)
dilated = cv2.dilate(th, cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (8, 3)), iterations=2)
# 获取所有检测框
image, contours, hier = cv2.findContours(dilated, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
for c in contours:
# 获取矩形框边界坐标
x, y, w, h = cv2.boundingRect(c)
# 计算矩形框的面积
area = cv2.contourArea(c)
if 500 < area < 3000:
cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2)
cv2.imshow("detection", frame)
cv2.imshow("back", dilated)
if cv2.waitKey(110) & 0xff == 27:
break
camera.release()
if __name__ == '__main__':
video = 'person.avi'
detect_video(video)
效果:
参考文献:
1.https://www.cnblogs.com/my-love-is-python/p/10440827.html
2.https://www.cnblogs.com/my-love-is-python/category/1308248.html
3.https://www.jianshu.com/p/12533816eddf