《OpenCV 3计算机视觉——Python语言实现(原书第2版)》
第八章目标跟踪
|______8.2背景分割器:KNN、MOG2、GMG
本节只是对书中代码进行详细解读
Opencv 提供了一个称为BackgroundSubtractor的类,在分割前景和背景时很方便。该类不仅执行背景分割,且可以通过机器学习的方法提高背景检测的效果,并提供将分类结果保存到文件的功能。
背景分割器主要包含 MOG2、KNN、GMG。
8.2背景分割器:KNN、MOG2、GMG
1.背景分割器-MOG2
利用背景分割器MOG2分割前景和背景,检测运动物体
#!/usr/bin/env python3
#__*__coding=utf-8__*__
"""
利用背景分割器MOG2分割前景和背景,检测运动物体
"""
import numpy as np
import cv2
cap = cv2.VideoCapture(0)
mog = cv2.createBackgroundSubtractorMOG2()
while(1):
ret,frame = cap.read()
fgmask = mog.apply(frame)
cv2.imshow('frame',fgmask)
if cv2.waitKey(100) & 0xff == ord("q"):
break
cap.release()
cv2.destroyAllWindows()
2.背景分割器-KNN
#!/usr/bin/env python3
#__*__coding=utf-8__*__
import cv2
import numpy as np
#常见一个BackgroundSubtractorKNN接口
bs = cv2.createBackgroundSubtractorKNN(detectShadows=True)
camera = cv2.VideoCapture(0)
while True:
ret,frame = camera.read()
#apply()函数计算了前景掩码
fgmask = bs.apply(frame)
#获得前景掩码(含有白色值以及阴影的灰色值),通过设定阈值将非白色(244~255)的所有像素都设为0,而不是1;
th = cv2.threshold(fgmask.copy(),244,255,cv2.THRESH_BINARY)[1]
dilated = cv2.dilate(th,cv2.getStructuringElement(cv2.MORPH_ELLIPSE,(3,3)),iterations =2)
#findContours函数参数说明cv2.RETR_EXTERNAL只检测外轮廓,cv2.CHAIN_APPROX_SIMPLE只存储水平,垂直,对角直线的起始点。
image,contours,hier = cv2.findContours(dilated,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
for c in contours:
if cv2.contourArea(c) < 1500:
continue
(x,y,w,h) = cv2.boundingRect(c)
cv2.rectangle(frame,(x,y),(x+w,y+h),(0,255,0),2)
cv2.imshow("mog",fgmask)
cv2.imshow("thresh",th)
cv2.imshow("detection",frame)
if cv2.waitKey(100) & 0xff == ord("q"):
break
camera.release()
cv2.destroyAllWindows()
8.2.1均值漂移和CAMShift
均值漂移
均值漂移是一种目标跟踪算法,该算法寻找概率函数离散样本的最大密度,并且重新计算在下一帧中的最大密度,该算法给出了目标的移动方向。不但进行计算移动方向和距离,直到与原始中心匹配或者迭代后保持中心不变,即最后收敛。
参考博客Mean Shift 均值漂移聚类
#!/usr/bin/env python3
#__*__coding=utf-8__*__
"""
均值漂移
"""
import cv2
import numpy as np
cap = cv2.VideoCapture(0)
ret,frame = cap.read()
#设置跟踪窗口大小
r,h,c,w = 10,200,10,200
track_window = (c,r,w,h)
roi = frame[r:r+h, c:c+w]
hsv_roi = cv2.cvtColor(frame,cv2.COLOR_BGR2HSV)
#inRange函数用来设置下限和上限值
mask = cv2.inRange(hsv_roi,np.array((100.,30.,32.)),np.array((180.,120.,255.)))
roi_hist = cv2.calcHist([hsv_roi],[0],mask,[180],[0,180])
cv2.normalize(roi_hist,roi_hist,0,255,cv2.NORM_MINMAX)
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT,10,1)
while True:
ret,frame = cap.read()
if ret == True:
hsv = cv2.cvtColor(frame,cv2.COLOR_BGR2HSV)
dst = cv2.calcBackProject([hsv],[0],roi_hist,[0,180],1)
ret,track_window = cv2.meanShift(dst,track_window,term_crit)
x,y,w,h = track_window
img2 = cv2.rectangle(frame,(x,y),(x+w,y+h),255,2)
cv2.imshow('img2',img2)
if cv2.waitKey(100) & 0xff == ord("q"):
break
else:
break
cap.release()
cv2.destroyAllWindows()
代码中有两个不太容易理解的函数:
CAMShift
CAMShift 会根据具体的旋转来绘制标记矩阵框,这种旋转会被跟踪对象一起旋转。
#!/usr/bin/env python3
#__*__coding=utf-8__*__
"""
均值漂移
"""
import cv2
import numpy as np
cap = cv2.VideoCapture(0)
ret,frame = cap.read()
#设置跟踪窗口大小
r,h,c,w = 10,200,10,200
track_window = (c,r,w,h)
roi = frame[r:r+h, c:c+w]
hsv_roi = cv2.cvtColor(frame,cv2.COLOR_BGR2HSV)
#inRange函数用来设置下限和上限值
mask = cv2.inRange(hsv_roi,np.array((100.,30.,32.)),np.array((180.,120.,255.)))
roi_hist = cv2.calcHist([hsv_roi],[0],mask,[180],[0,180])
cv2.normalize(roi_hist,roi_hist,0,255,cv2.NORM_MINMAX)
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT,10,1)
while True:
ret,frame = cap.read()
if ret == True:
hsv = cv2.cvtColor(frame,cv2.COLOR_BGR2HSV)
dst = cv2.calcBackProject([hsv],[0],roi_hist,[0,180],1)
###############均值漂移#########################
# ret,track_window = cv2.meanShift(dst,track_window,term_crit)
#
# x,y,w,h = track_window
# img2 = cv2.rectangle(frame,(x,y),(x+w,y+h),255,2)
##################CAMShift############################
ret, track_window =cv2.CamShift(dst,track_window,term_crit)
pts = cv2.boxPoints(ret)
pts = np.int0(pts)
img2 = cv2.polylines(frame,[pts],True,255,2)
cv2.imshow('img2',img2)
if cv2.waitKey(100) & 0xff == ord("q"):
break
else:
break
camera.release()
cv2.destroyAllWindows()
与meanshift只有四行程序不同。
对运动物体的跟踪:
如果背景固定,可用帧差法 然后在计算下连通域,将面积小的去掉即可;
如果背景单一,即你要跟踪的物体颜色和背景色有较大区别,可用基于颜色的跟踪,如CAMShift 鲁棒性都是较好的;
如果背景复杂,如背景中有和前景一样的颜色,就需要用到一些具有预测性的算法 如卡尔曼滤波等 可以和 CAMShift 结合;
参考文档:
CAMShift的算法原理