应用于背景减除法的非参数模型（Non-parametric Model for Background Subtraction）

作者：Ahmed Elgammal, David Harwood, and Larry Davis  孙永贺（译）

马里兰大学 帕克学院

{elgammal,harwood,lsd}@umiacs.umd.edu

摘要：背景减除法是摄像机静止时在图像序列中分割动目标的经典算法，它通过构建背景模型，并用背景模型与当前帧相比较实现检测。我们提出了一种新颖的非参数背景模型和一种背景减除方法。这种模型适用于复杂的非完全静止的环境，这个环境中可以包含像树枝和灌木丛这样的小的运动物体。根据每个像素点的一系列亮度值，模型估计出观测像素亮度值的概率密度。模型可以快速的适应环境的变化，达到高精度的动目标检测。我们还展示模型如何利用颜色信息抑制阴影。模型可以在灰度图像和彩色图像上实时的完成。实验表明在很低的虚警率下此方法达到了很高的检测精度。

关键字：运动视觉，主动实时的视觉，动目标检测，非参数估计，视觉监视，阴影检测

1 简介

  在很多自动视觉监视应用中，对运动目标的检测是第一步。在最低的虚警率下达到对运动目标的高精度检测总是令人满意的。背景减除法是检测运动目标的经典方法，它通过计算每一帧图像与背景模型的差异来达到目标检测。在完全静止的场景中（也就是，背景不动），如果我们在一段时间内监视一个像素的亮度，这个像素的亮度值可以很合理建模为正态分布N(0,sigma^2),假设图像噪声可以建模为0均值的正态分布N(0,sigma^2)。像素亮度值的正态分布模型是很多背景减除法都在用的模型。例如，一个最简单的背景减除法就是计算没有运动物体的环境图像的平均值得到背景的估计图像，每个图像帧减去估计的背景帧，并对结果阈值化。

用简单的自适应滤波器来递归的更新模型，这个简单的正态模型可以适应缓慢的环境变化（例如：光照变化）。这个基础的自适应模型见【1】，应用卡尔曼滤波实现自适应的模型见【2,3,4】。

在很多户外场景的视觉监视应用中，环境背景包含很多非静止的物体例如树枝和灌木丛会因为场景中的风而运动。这类运动背景会导致像素亮度值随时间剧烈的变化。例如，一个像素在一帧中是天空，而在另一帧中是一片树叶，在第三帧中是树枝，而在后面的序列中是他们中的混合物。在这些情境下，这个像素有不同的颜色。

图1表明户外环境中一个植被像素的灰度值在一较短时间（900帧-30秒）内的变化情况。场景展示在图2中。图3-a展示了这个像素的亮度直方图。很显然亮度分布是多峰的，所以正态分布模型在这些像素的亮度或彩色上将不再适用。

在文献【5】中，用三个正态分布的混合模型来构建交通监视应用中的像素亮度值模型。像素亮度被建模为三个正态分布的加权和：道路，阴影和交通工具的分布。用增量EM算法学习和更新模型的参数。尽管在这个例子中像素亮度值被建模为三个分布，但是单峰模型还是用在场景背景中，比如道路分布。

在文献【6,7】中，前面算法的更一般的算法被提了出来。像素亮度值用K个高斯分布的加权和（K是一个从3到5之间的较小值）来建模户外场景中有运动的树枝和相似小的运动物体的背景。一个像素的亮度值xt可以估计为:

其中，和分别是第j个分布的权重，均值和方差。根据的大小，对K分布进行排序，取前B个分布作为场景背景的模型，B可以用下式进行估计：

背景模型中的阈值T是整个所有权重的一小部分。计算每一个像素的分布，把那些标准差远离B个分布中任意一个的像素标记为前景像素。分布参数通过学习率a不断得到更新。其中控制着模型适应变化的速率。

在背景变化很快的环境中，这个模型不能达到精确检测。例如，图3-a3是30秒的图像灰度直方图，他表明图像灰度分布覆盖了一个很宽的范围（这对彩色图像同样适用）。这些变化发生在一个很短的时间段内（30秒）。用较少的搞死分布来建模背景是不精确的。同时，非常宽的背景分布将导致很差的检测，因为大部分灰度级都将被背景模型覆盖。

另一个重要的因素是背景模型适应变化的速率。图3-b有9个同一像素的不同时间段的直方图，这些时间段从原有时间段中均等的分成9份得到的，每个时间段包含100帧（秒）。从这些局部的直方图中我们发现灰度分布在一个很小的时间段内变化非常的剧烈。使用更多的短时分布将使我们得到更好的检测精度。

我们必须面对下面的折中：如果背景模型对场景适应太慢，我们会得到一个变化范围宽的不精确的模型，它的检测精度比较低。另一方面，如果模型适应的太快，这会导致两个问题：模型可能把目标更新为背景，因为背景的更新速度与目标的速度相差不多，同时它还导致对模型的参数估计不准确。

我们的目标是在没有参数的情况下精确的为背景变化构建模型。这个模型应该能够适应快速的背景变化，同时得到很高的目标检测精度。下面的部分，我们描述的背景模型可以达到这些目标。这个模型为场景中每一个像素记录一系列采样值，并估计新观测到的像素值是背景的概率。模型为每一帧相互独立的估计这些概率。在第2节，我们阐述提到的背景模型和背景减除过程。背景减除过程的第2阶段将在第3节讨论，这个阶段主要完成对由于那些在背景中没有被模型捕获的小的运动目标而带来的虚警的抑制。模型对长时间变化的适应能力将在第4节讨论。在第5节我们解释怎样利用颜色信息从目标检测中抑制阴影。

2 基础背景模型

2.1 密度估计

在这一节，我们描述基础背景模型和背景减除过程。模型的目标是捕获最近图像序列的信息，并持续的把这些信息更新到背景中来捕获快速的变化。像图3-b描述的那样，一个像素的灰度分布的变化相当迅速。所以如果我们想得到精确检测，我们必须在任何时刻都利用最新的信息来估计分布的密度函数。

令x1，x2，...，xN是一个像素的最近采样值。利用这些采样值和核估计器K，这个像素在t时刻的灰度值为

xt的概率密度函数可以非参地估计为：

如果我们选择的核函数K为正态分布，其中表示核函数的带宽，那么密度函数可以估计为：

如果我们假设不同颜色通道间相互独立，第j个颜色通道的核带宽为，那么，概率密度函数的估计可以退化为：

利用概率密度估计，如果，这个像素就被认为是前景像素，其中阈值th是使虚警达到期望值时的全局图像阈值。事实上，计算式5的概率密度估计的一个快速算法是查找预先计算好的核函数值，这些核函数值是在给定灰度差（xt-xi）和核密度带宽下计算出来的。此外，对式5的和的局部估计取阈值的效率通常优于对大多数像素单独求值的效率，因为大多数图像像素是背景。这些允许我们构建一个概率估计的快速实现。

应用正态分布的核函数的密度估计是高斯混合模型的一般化模型，其中N个采样值中的每个采样值被认为服从高斯分布。这允许我们只利用最近序列信息更精确的估计密度函数。这也时模型能快速的“忘掉”先前的观测，而把注意力集中在最近的观测上。同时，我们可以消除无法避免的错误参数估计，精确的参数估计一般需要大量的精确的无偏的数据。在6.1节，我们给出了这两个模型的比较结果。我们发现在同样的内存，同样的虚警率下，非参数模型有比混合高斯模型高的多的检测精度。

图4展示了估计出的背景概率，其中较亮的像素表示有较低背景概率的像素。

2.2 核带宽估计

像素亮度值变化至少有两个原因。第一，当不同的物体（天空，树枝，树叶或者当这些物体的边缘划过这个像素值时的多个物体的混合物）在不同的时间投影到同一个像素上时，这个像素的亮度值将发生跳变。第二，在一段非常短的时间内，同一个物体投影到这个像素上，由于图像模糊，像素的亮度值也会出现局部亮度的变化。核函数带宽反映的由于图像模糊造成的灰度局部变化，而不是灰度值跳变。这种局部变化在图像中不同像素上不同，并随着时间变化。这种局部变化在不同颜色通道上也不同。

我们通过计算给定像素的连续的采样灰度值的平均绝对差来估计这个像素第j个彩色通道的核函数带宽。其中均值m是采样值中连续对（xi，x（i+1)）的绝对差|xi-x（i+1)|的平均值，这些均值在不同通道上是独立计算的。由于我们测量两个连续强度值之间的偏差，所以数对（xi，x（i+1)）通常来自同一个分布，很好有数对来自不同分布的交叉处。如果我们假设这些分布服从正态分布，那么差值服从正态分布。因此第一个分布的标准差可估计为：

因为差值是整数值，利用线性差值得到更加精确的均值。

3 抑制虚警

在有波动背景的户外环境中，虚警有两种来源。第一，由随机噪声带来的虚警，这种噪声应该在整幅图像上是均匀的。第二，由没有被背景模型表示的小的运动物体造成的虚警。例如，一个树枝运动的距离比在模型产生阶段运动的距离远时，这种情况就会发生。在户外监控中，由于风力而造成的小的摄像机位移也会造成大量虚警。这种虚警通常在图像中成簇的出现，并且很难通过形态学滤波或噪声滤波法消除，因为这些操作很可能也影响了小的和/或噪声簇中的目标。

检测的第二个阶段的目标是抑制那些由于在场景背景中小的未建模的运动而造成的虚警。如果背景的一部分（例如一根树枝）由于运动而占据了一个新的像素，但它并不是这个像素背景模型的一部分，此时背景就会被检测为前景。然而，这些背景物体很大概率上是其初始像素的背景模型分布的一部分。假设在相邻帧中只会发生很小的位移，我们可以通过考虑相邻像素背景的分布情况来决定一个检测出的像素是否是相邻背景物体的运动造成的。

令xt为t时刻的检测值，在背景减除的第一个阶段x被检测为前景像素。定义像素位移概率，是检测值xt属于邻域N(x)的背景的最大概率：

其中By是像素y的背景采样，并利用5式计算概率。通过对检测像素取阈值PN，我们可以消除很多由于背景中小的运动而造成的虚警。不幸的是，通过这些操作我们也会消除一些正确的检测，因为一些正确像素可能碰巧与附近的背景像素很类似。这主要发生在灰度图像上。为了避免失去这些正确的检测，我们加入约束：所有检测前景都必须来自附近的位置，而不仅仅是其中的一部分来自附近位置。定义联合移位概率，它是检测出的连通域C整体从附近位置移位的概率。这个概率估计为：

对于真正目标的目标，联合移位概率会很低。所以一个检测出的像素是背景的一部分，当且仅当

在我们的实现中，一个直径为5的圆邻域被用来确定在第一阶段被检测出的像素的移位概率。阈值th1的值和背景减除法第一阶段的阈值相同，它是用来调整恒虚警率的。阈值th2可以有力的辨别真实的目标和移位的背景，因为前者又一个很低的联合移位概率。

图5表明检测第2阶段的作用。第1阶段的检测结果为图5-b。在这个例子中，背景在几秒内没有更新，在这段时间内摄像机有一个轻微的位移，所以在高对比度的边缘出现了很多虚警。图5-c是通过高位移概率抑制后的检测结果。我们消除了大部分由于移位造成的虚警，仅仅保留了由于随机噪声造成的虚警；但是一些正确的检测也丢失了。图5-d是检测第2阶段的最终结果，它添加了连通域位移概率约束。图6-b是另一个结果，因为风的原因，摄像机在轻微的震动，这就导致很多一簇一簇的虚警，在边缘部分更加严重。经过检测第2阶段，大部分这些成簇的虚警被抑制掉，同时保留了图像左边的小目标，见图6-c。