【计算机视觉】Lecture 24：视频变化检测

视频基础

每秒30帧。每一幅图像的处理时间不会太多。因此，实时算法往往非常简单。

视频图像的主要特征之一是帧间的时间一致性。在1/30秒内帧间变化不大！

检测移动的对象

假设：移动的对象是非常重要的（比如人和车辆）
基本方法：保持一个静态背景的模型。将当前帧与背景进行比较以定位移动的前景对象。

简单的背景减法

• 背景模型是一个静态图像（假设这时候没有对象）。

• 基于当前帧和背景之间的绝对灰度差阈值，像素被标记为对象（1）或非对象（0）。

背景观察

如果对象的灰度/颜色与背景有足够的不同，背景减法可以合理地提取对象的形状。

进入场景并停止的对象将继续被检测到，因此很难检测到经过它们前面的新对象。

如果假定的静态背景的一部分开始移动，则对象及其负重影（显示的背景） 都会被检测到

背景减法对光照变化和背景的不重要的移动（例如，风中吹动的树木、汽车或水上反射的阳光）非常敏感。

背景减法无法处理相机的移动。

简单的图像帧差分

上一帧的图像替代背景模型

帧差分观察

帧差分能够非常快速地适应光线或相机运动的变化。

不会再检测到停止的对象。启动的对象不会留下重影。

然而，帧差分只检测均匀颜色对象的前缘和后缘。因此，在对象上很少有像素被标记，并且很难检测到向着相机方向移动或远离相机方向移动的对象。

差分和时间尺度

注意，当我们调整执行两帧差分的时间尺度（帧率）时会发生什么 ？

更完整的对象轮廓，但有两个副本（copies）

（一个是过去的对象，一个是现在的对象）

三帧差分

前面的观察是三帧差分背后的动机

三帧差分的好帧率的选择依赖于对象的大小和速度

自适应背景减法

• 将当前图像“混合”到具有参数 α 的背景模型中

• α = 0 时产生简单的背景减法，α = 1 时产生帧差分

自适应背景减法观察

自适应背景减法对光照和相机运动的变化更敏感。

快速移动的小物体分割得很好，但它们留下了短的像素“轨迹”。

停止的对象和开始运动对象留下的重影会在背景中逐渐消失。

大型慢速移动对象的中心也会在背景中开始消失！这可以通过减小混合参数 α 来“修复”，但是这时候停止的对象/对象的重影消失所需的时间会变长。

持续帧差分（Persistent Frame Differencing）

• 运动图像与一个线性衰减项相结合

• 也被称为运动历史图像（Davis和Bobick）

持续帧差分观察

持续帧差分也对光照和相机运动变化比较敏感，并且停止的对象/对象的重影也会逐渐消失。

对象会留下逐渐消失的像素轨迹。该轨迹的梯度表示图像中对象运动的视觉方向。

尽管颜色一致对象的中心仍然没有被检测到，但是由于线性衰减，前后边缘变得更宽，因此在感觉上（对人来说）更容易看到整个对象。

四种方法的比较

基本的背景减法的变体

统计学的背景建模

Wren, Azarbayejani, Darrell, Pentland, “Pfinder: Real-time Tracking of the Human Body,” IEEE Pattern Analysis and Machine Intelligence (PAMI), Vol. 19(7), July 1997, pp.780-785.

注意 B（t）=αI（t）+（1-α）B（t-1）
是一个指数移动平均IIR滤波器。

（近似于平均值的一种递归，最近最新的样本权重更高）。

变体：计算每个像素处颜色的平均值和协方差。变化的检测阈值现在应该就是定为统计距离

（又名马哈拉诺比斯Mahalanobis距离）。

这通常效果更好，因为阈值可以自适应。

然而，它基于这样一个假设：在一个像素上观察到的颜色是单峰的（如果是高斯分布，效果最好）。

Chris Stauffer and Eric Grimson, “Adaptive Background Mixture Models for Real-time Tracking,” IEEE Computer Vision and Pattern Recognition (CVPR), June 1999, pp.246-252.

观察：一个像素处的颜色分布通常是多模态的（例如，树叶区域或水面上的涟漪）。它们基于高斯混合（通常为5或6个分量）在每个像素处保持自适应颜色模型。

非参数颜色分布，核密度估计
Ahmed Elgammal, David Harwood, Larry Davis “Non-parametric Model for Background Subtraction”, 6th European Conference on Computer Vision. Dublin, Ireland, June 2000.

在每个像素处使用光流 u，v 值，而不是使用灰度/颜色

R.Pless, J.Larson, S.Siebers, B.Westover, “Evaluation of Local Models of Dynamic Backgrounds,” IEEE Computer Vision and Pattern Recognition (CVPR), June 2003

云台工作，主从伺服

X.Zhou, R.Collins, T.Kanade, P.Metes, “A Master-Slave System to Acquire Biometric Imagery of Humans at a Distance,” ACM SIGMM 2003 Workshop on Video Surveillance , Berkeley, CA, Nov 7, 2003, pp.113-120

• 使用固定的主摄像头检测物体

• 计算附近的摇摄/倾斜摄像机的指向角

背景色模型

Wenmiao Lu, Yap-Peng Tan, Weiyun Yau, “Video Surveillance System for Drowning Detection”, Technical Sketches, IEEE Conference on Computer Vision and Pattern Recognition, Kauii Hawaii, Dec 2001.

颜色分割（双色池模型）用于检测游泳者，同时忽略水中波纹和波浪造成的灰度变化。

分层检测

R.Collins, A.Lipton, H.Fujiyoshi and T.Kanade, “Algorithms for Cooperative Multi-Sensor Surveillance,” Proceedings of the IEEE, Vol 89(10), October 2001, pp.1456-1477.

允许对blob进行分层，这样停止的blob可以被视为新对象检测的背景的一部分，但它们在重新开始移动时不会留下重影。

云台工作

背景减法的一个主要限制是相机必须是静止的，这限制了我们使用摇摄/倾斜相机进行主动跟踪的能力。

方案1：Step-and-Stare 跟踪

云台工作，相机运动的稳定性

Frank Dellaert and Robert Collins, “Fast Image-Based Tracking by Selective Pixel Integration,” ICCV Workshop on Frame-Rate Vision, Corfu, Greece, Sept 1999.

通过变换图像，与背景参考图集合对齐，可以消除平移/倾斜相机的视觉运动。

当场景结构主要是平面的时候，也有更一般的相机运动稳定的工作。

将像素分组为块

动机：变化的检测是一个像素级的过程。

我们希望将描述提升到更高的抽象级别。

动机

如果我们有一个对象级的blob描述，并且我们可以维护场景背景的模型，那么我们可以从视频序列中人为地移除对象。

Alan Lipton, “Virtual Postman – Real-time, Interactive Virtual Video,” IASTED CGIM, Palm Springs, CA, Octover 1999.

将像素分组为块

• 中值滤波去除噪声像素

• 连接部分（带间隙）

• 调整滤波器的尺寸以去除小区域

间隙的连接部分

边框=包含对象上所有像素的最小矩形。

Blob合并/拆分

当两个对象彼此靠近时，它们被检测为单个blob。通常，一个物体会被另一个物体挡住。其中一个具有挑战性的问题是在每一个对象再次分开后保持正确的标记。

数据关联

基于blob之间的特征相似度确定blob在帧间的对应关系。

常用特征：位置、大小/形状、速度、外观

例如：可以根据边界框重叠来测量位置、大小和形状相似性：

通常假设物体以恒定速度运动

外观信息

图像模板的互相关性也是一个明显的选择（在帧之间）

通过颜色直方图的外观

整体的直方图尺寸为

比如，R、G和B通道的4位编码会产生的直方图大小为161616 = 4096

更小的颜色直方图

如果我们愿意接受颜色分辨率的损失，直方图信息可以小得多。

整体的直方图尺寸为

比如，R、G和B通道的4位编码会产生的直方图大小为 3*16 = 48

颜色直方图例子

比较颜色分布

给定n-bucket模型直方图{mi | i=1，…，n}和数据直方图{di | i=1，…，n}，我们遵循Comanesciu、Ramesh和Meer*使用距离函数：

为什么用这个？
1） 它与Bayes误差概念共享最优性质

2） 它采用了度量结构

3） 它对对象大小（像素数）是恒定不变的

4） 它适用于任意分布（不只是高斯分布）

Dorin Comanesciu, V. Ramesh and Peter Meer, “Real-time Tracking of Non-Rigid Objects using Mean Shift,” IEEE Conference on Computer Vision and Pattern Recognition, Hilton Head, South Carolina, 2000 (best paper award).

数据关联示例 合并和拆分后