[目标跟踪]传统算法--背景法【附代码】

以前一直都在做目标检测和分类项目，现在准备入坑目标跟踪，准备从传统算法开始学习，然后再到深度学习方法。

目标跟踪是计算机视觉领域的一个重要研究领域，也被广泛的使用。

在目标跟踪任务中又可以分为单目标跟踪和多目标跟踪。

按照任务计算类型又可以分为以下2类。

• 在线跟踪 - 在线跟踪需要实时处理任务，通过过去和现在帧来跟踪未来帧中物体的位置。
• 离线跟踪 - 离线跟踪是离线处理任务，可以通过过去、现在和未来的帧来推断物体的位置，因此准确率会在线跟踪高。

而目标跟踪也有自己的技术难点，比如：目标的形态、尺度、环境光照等变换，或者运动速度快，有遮挡时也会导致跟踪失败

在目标跟踪的发展中，也产生了很多算法，传统算法比如有光流法，背景差分法，粒子滤波法等等，直至现在常用的深度学习。

本文先研究的背景法，以后会不断更新其他方法。

背景法：将视频的初始帧(当然也可以自己去设定某一帧)设定为背景，因为背景是几乎没什么变化的，变的是运动的物体。然后让之后的每一帧与背景帧做差值，这样就可以检测出运动物体，这种方法也不用像深度学习需要进行训练。缺点就是对周围光照很敏感，所以适合在光照稳定的场景中

代码：

【代码都已经加了注释，基本上一看就懂】

import cv2
import numpy as np
'''
背景法将开始的一幅图像作为背景，然后和后面的每一帧对比，缺点是一开始存入的背景可能随光照变法而造成错误
但是可以用在光照环境稳定的地方，优点是可以检测之前背景没有的景象
'''
camera = cv2.VideoCapture(0)
if (camera.isOpened()):      # 判断视频是否打开
    print('设想头成功打开')
else:
    print('摄像头未打开')
fps = camera.get(cv2.CAP_PROP_FPS)
fourcc = cv2.VideoWriter_fourcc(*'XVID')

# 读取视频尺寸
size = (int(camera.get(cv2.CAP_PROP_FRAME_WIDTH)),
        int(camera.get(cv2.CAP_PROP_FRAME_HEIGHT)))
out_frame = cv2.VideoWriter('跟踪.avi', fourcc, fps, size)
print('视频尺寸:', size)

# 构建3*3 用来构造内核
# cv2.getStructuringElement(shape, ksize, anchor=None)
# shape:表示内核的形状 MORPH_RECT(矩形)，MORPH_CROSS(交叉形)，MORPH_ELLIPSE(椭圆形)
# kisze:内核的尺寸
es = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3))
kernel = np.ones((5, 5), np.uint8)
background = None  # 背景

while True:
    # 读取视频流
    ret, frame = camera.read()

    # 对帧进行预处理
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)  # 转灰度图像
    gray = cv2.GaussianBlur(gray, (21, 21), 0)  # 高斯滤波（降噪：摄像头震动、光照变化）

    # 将第一帧设置为整个输入的背景
    if background is None:
        background = gray  # 将第一帧做位背景图，此刻background不再是None
        continue

    # 对比背景之后的帧与背景之间的差异，并得到一个差分图（different map）。
    # 二值化处---->膨胀（dilate）得到图像区域块
    # cv2.threshold(src, thresh, maxval, type, dst=None)通过阈值二值化处理图像，
    #   src是需要操作的图像
    #   thresh是阈值参数
    #   maxval是高于阈值时赋予的参数，高于阈值的像素点全部位maxval，小于阈值的为0
    #   type是方法参数，cv2.THRESH_BINARY（黑白二值）
    #   cv2.dilate形态学中的膨胀处理，用上面我们构建的元素来对图像进行膨胀
    diff_img = cv2.absdiff(background, gray)  # 获取差分图，就是两幅图做差(第一帧的时候肯定是0)
    diff_img = cv2.threshold(diff_img, 25, 255, cv2.THRESH_BINARY)[1]  # 图像二值化处理
    diff_img = cv2.dilate(diff_img, es, iterations=2)

    # 显示矩形框：计算一幅图像中目标的轮廓 cv2.RETR_EXTERNAL查找外轮廓，cv2.CHAIN_APPROX_SIMPLE 轮廓只需4个点来保存轮廓信息
    # contours 一个列表，用来存储能描述轮廓的信息
    contours, hierarchy = cv2.findContours(diff_img.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    for c in contours:
        # cv2.contourArea(c)计算轮廓面积 c是单个输入的轮廓值
        if cv2.contourArea(c) < 1500:
            continue
        (x, y, w, h) = cv2.boundingRect(c) # 该函数计算矩形的边界框
        cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 255, 0), 2)

    cv2.imshow('contours', frame)
    out_frame.write(frame)
    cv2.imshow('diff_img', diff_img)
    

    key = cv2.waitKey(1) & 0xFF
    if key == ord('q'):    # 按'q'健退出循环
        break
# 释放资源并关闭窗口
camera.release()
cv2.destroyAllWindows()

上述代码需要讲下的部分：

es是通过构建一个模板(可以理解为一个卷积)，我这里设置的是一个3*3的矩形，用来做后面的膨胀处理【对一些间隙做填充，平滑作用】

es = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3))
kernel = np.ones((5, 5), np.uint8)
background = None  # 背景

对灰度图像进行高斯滤波去噪，并将处理后的图像赋给背景，以此作为背景帧。 

# 对帧进行预处理
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)  # 转灰度图像
    gray = cv2.GaussianBlur(gray, (21, 21), 0)  # 高斯滤波（降噪：摄像头震动、光照变化）

    # 将第一帧设置为整个输入的背景
    if background is None:
        background = gray  # 将第一帧做位背景图，此刻background不再是None
        continue

 这里就是用差分和膨胀进行图像处理

diff_img = cv2.absdiff(background, gray)  # 获取差分图，就是两幅图做差(第一帧的时候肯定是0)
    diff_img = cv2.threshold(diff_img, 25, 255, cv2.THRESH_BINARY)[1]  # 图像二值化处理
    diff_img = cv2.dilate(diff_img, es, iterations=2)

 

 

然后让我们来看一下效果吧~~ 注意：使用环境要进尽可能光照稳定、场景简单，还有这个并不能对特定的目标进行跟踪。 

 

下面的图就是通过与背景帧差值后跟踪的结果了~