效果图:
涉及到的内容
- 窗口的展示
- 图像/视频的加载
- 基本图像的绘制
- *车辆识别
- 基本图像运算与处理
- 形态学
- 轮廓查找
大体流程
1. 加载视频
2. 通过形态学识别车辆
3. 对车辆进行统计
4. 显示车辆统计信息
知识补充
背景减除
背景减除(Background Subtraction
) 是许多基于计算机视觉的任务中主要的预处理步骤。如果我们有完整的静止的背景帧,那么我们可以通过帧差法来计算像素差从而获取到前景对象。
但是在大多数情况下,我们可能没有这样的图像,所以我们需要从我们拥有的任何图像中提取背景。当运动物体有阴影时,由于阴影也在移动,情况会变得更加复杂,为此引入背景减除算法。
通过这一方法我们能够从视频中分离出运动的物体前景,从而达到目标检测的目的
BackgroundSubtractorMOG
- 这是一个以混合高斯模型为基础的前景/背景分割算法
- 它使用K(K = 3 或 5)个高斯分布混合对背景图像进行建模。使用这些颜色(在整个视频中)存在时间的长短作为混合的权重,背景的颜色一般持续时间最长,而且更加静止
- 在编写代码时,我们需要使用函数
cv2.createBackgroundSubtractorMOG2()
创建一个背景对象。这个函数有些可选参数,比如要进行建模场景的时间长度,高斯混合成分的数量,阈值等。将它们全部设置为默认值,然后在整个视频中我们是需要使用backgroundsubtractor.apply()
就可以得到前景的掩膜了 - 移动的物体会被标记为白色,背景会被标记为黑色的
具体流程
视频加载
关键API:打开摄像头cap = cv2.VideoCapture('./video.mp4')
;读取数据 ret,frame = cap.read()
# 先进行视频加载 ——> 将视频中的每一帧加载进来
import cv2
import numpy as np
# cap = cv2.VideoCapture(0) # 0表示调用摄像头
cap = cv2.VideoCapture('./video.mp4')
# 循环读取视频帧
while True :
ret,frame = cap.read()
#如果成功读取到一帧数据
if ret == True:
cv2.imshow('video',frame) # 展示这一帧数据到窗口
# 退出
key = cv2.waitKey(1) # 每隔1ms接受用户按下的按键
# 用户按‘ESC’即可退出
if key == 27:
break
# 最后别忘了释放资源
cap.release()
cv2.destroyAllWindows()
去除背景
OpenCV
会把不会动的东西(蓝天白云…)分辨出背景;把会动的东西(车辆、行人…)叫做前景
由于我们要检测会动的车辆(前景),所以要把不会动的背景去除掉,用到了背景减除(Background Subtraction
) ——>效果是: 动的东西(前景)会变成白色 ;不动的东西(背景)会变成黑色
关键API:cv2.createBackgroundSubtractorMOG2() # 直接用 不用写参数
# 去背景 ——> opencv把不会动的东西(蓝天白云...)叫做背景,把会动的(车辆,行人...)叫做前景
# 示例
import cv2
import numpy as np
# cap = cv2.VideoCapture(0) # 0表示调用摄像头
cap = cv2.VideoCapture('./video.mp4') # 调用视频
# 创建一个MOG对象
mog = cv2.createBackgroundSubtractorMOG2() # 直接用 不用写参数
while True:
ret,frame = cap.read()
if ret == True :
fgmask = mog.apply(frame) # 将前景掩码 "fgmask" 运用到这一帧图像上
cv2.imshow('video',fgmask) # 显示识别到的前景fgmask(不是写frame!)
# 退出
key = cv2.waitKey(100) # 每隔1ms接受用户按下的按键
# 用户按‘ESC’即可退出
if key == 27:
break
# 最后别忘了释放资源
cap.release()
cv2.destroyAllWindows()
# 结果:动的东西(前景)会变成白色 ;不动的东西(背景)会变成黑色
结果:
形态学识别车辆
从去背景例程中,我们可以发现有很多白点(噪声),因此我们需要降噪
我们可以发现噪声比较均匀,不适合用中值滤波去除,而是用高斯滤波
关键API:cv2.GaussianBlur(gray,(7,7),5)
降噪:
# 从去背景例程中,我们可以发现有很多白点(噪声),因此我们需要降噪
import cv2
import numpy as np
# cap = cv2.VideoCapture(0) # 0表示调用摄像头
# cap = cv2.VideoCapture('./video.mp4') # 调用视频
cap = cv2.VideoCapture('./car.mp4') # 调用视频
# 创建一个MOG对象
mog = cv2.createBackgroundSubtractorMOG2() # 直接用 不用写参数
# 使用opencv获取卷积核
kernel = cv2.getStructuringElement(cv2.MORPH_RECT,(5,5))
# 取阈值,当图形轮廓小于阈值时排除掉(认为它不是车) ——> 只有长宽均大于阈值,才认为是一部车
min_w = 90
min_h = 90
while True:
ret,frame = cap.read()
if ret == True :
# 把原始帧进行灰度化,然后去噪
gray = cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)
# 去噪(我们可以发现噪声比较均匀,不适合用中值滤波去除,而是用高斯滤波)
blur = cv2.GaussianBlur(gray,(7,7),5)
# blur = cv2.blur(gray,(3,3))
# 去除背景
fgmask = mog.apply(blur) # 将前景掩码 "fgmask" 运用到这一帧图像上
# 腐蚀做进一步去噪
erode = cv2.erode