week8-基于opencv的视频的简单背景估计

在这篇文章中，我们将考虑一种这样的场景，相机是静态的并且场景中有一些运动物体时，它可以估算场景的背景。这种情况并不罕见。例如，许多交通和监控摄像头都是固定的。
如下图的情景：

时间中值滤波

当数据包含异常值时，中位数是我们尝试估计的值的更可靠的估计。中位数是数据按升序或降序排序时的中间值。唯一的缺点是，与平均值相比，中位数的计算成本更高。

使用中位数进行背景估计

现在，让我们回到相机静止时估计背景的问题。
我们可以假设大多数情况下，每个像素都看到同一块背景，因为相机没有移动。有时，汽车或其他移动物体进入前方，使背景模糊。
对于视频序列，我们可以随机采样几帧（例如25帧）。
换而言之，对于每个像素，我们现在有25个背景估计值。只要一个像素没有被汽车或其他移动物体覆盖的时间超过50％，那么这25帧中像素的中值将为该像素的背景提供良好的估计。
我们可以对每个像素重复此操作，并恢复整个背景。

import numpy as np
import cv2
from skimage import data, filters

# 读取视频
cap = cv2.VideoCapture('video.mp4')

#随机选择 25 frames
frameIds = cap.get(cv2.CAP_PROP_FRAME_COUNT) * np.random.uniform(size=25)

# 把上面选定好的frames 放在一个 array
frames = []
for fid in frameIds:
    cap.set(cv2.CAP_PROP_POS_FRAMES, fid)
    ret, frame = cap.read()
    frames.append(frame)

# 通过时间轴计算medianFrame
medianFrame = np.median(frames, axis=0).astype(dtype=np.uint8)    

# 显示median frame（作为背景）
cv2.imshow('frame', medianFrame)
cv2.waitKey(0)

我们随机选择25帧，并计算25帧中每个像素的中值。
只要每个像素至少有50％的时间看到背景，此中值帧即可很好地估计背景。

背景的估计值是中值帧由25个帧找到每个像素的中值来计算。

结果如图

帧差处理

显而易见的下一个问题是，我们是否可以为每个帧创建一个mask，以显示运动中的图像部分。
这可以通过以下步骤完成：

1. 将中间帧（上述背景图）转换为灰度。
2. 循环播放视频中的所有帧。提取当前帧并将其转换为灰度。
3. 计算当前帧和中间帧之间的绝对差。
4. 对以上图像进行阈值去除噪声并二值化输出。
   代码如下：

# 将中间帧（上述背景图）转换为灰度
grayMedianFrame = cv2.cvtColor(medianFrame, cv2.COLOR_BGR2GRAY)

# 循环播放视频中的所有帧
ret = True
while(ret):

  # 提取当前帧并将其转换为灰度。
  ret, frame = cap.read()
  frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
  # 计算当前帧和中间帧之间的绝对差。
  dframe = cv2.absdiff(frame, grayMedianFrame)
  # 使用阈值去噪
  th, dframe = cv2.threshold(dframe, 30, 255, cv2.THRESH_BINARY)
  # 显示图像
  cv2.imshow('frame', dframe)
  cv2.waitKey(20)

# 合成视频
cap.release()

cv2.destroyAllWindows()

以下是效果图：