Forward-Backward error

Forward-Backward Error:Automatic Detection of Tracking Failures

发表于2010年的ICPR,作者为Zdenek Kalal
这篇论文提出了一个新的方法用于检测跟踪失败，检测基于forward-backward error，提出了一个forward-backward 一致性假设，正确的跟踪应该独立于时间流的方向。首先跟踪器通过forward跟踪一个点产生了一条轨迹，最后一帧的那个定位的点用于初始化验证轨迹，验证轨迹是通过backward从最后一帧跟踪到第一帧，最后比较两个轨迹，如果他们非常不一样，前向轨迹就被认为是不正确的。如图所示，上面的点1在两张图都是可见的，跟踪器可以正确的定位它，跟踪这个点的前向和后向结果是相同的轨迹；而点2在右图是不可见的，跟踪器定位到不同的点，后向跟踪的时候不是初始点而是不同的位置：

上图的下半部分中的forward-backward error怎么计算呢？
它被定义为两个轨迹之间的距离，为了简单方便，本文使用初始点和验证轨迹的终点的欧氏距离来计算error。

论文还证明了和通常使用的NCC（ normalized cross-correlation 归一化互相关）是互补的。
NCC（详细参考这篇博客）：

那之前用什么方法去检测跟踪失败呢？
describe the tracked point by a surrounding patch R which is compared from time t to t+1 using sum-of-square differences(SSD).这个errror可以检测由遮挡或快速运动造成的失败，但是不能检测缓慢地漂移轨迹。

This experiment demonstrates that the FB error can be used to select feature points for which the tracking is reliable in the whole video sequence.
This is in contrast to standard feature selection methods which are based on the information from a single image.

基于这个error，我们提出了一个新的目标跟踪器叫Median Flow，如下图所示，跟踪器接受一对图像和一个bbox，并输出一个bbox。在初始帧的bbox初始化一系列点，下一帧点通过Lucas-Kanade 跟踪器（生成了稀疏的运动流）跟踪，然后用FB方法估计跟踪error，过滤一半最差的点，然后用保留下来的点的每个空间维度的median指估计bbox的位置。

---

未完待续（之前写的 打算还写与其相关的一篇，先放在这里）