C-COT -- 超越相关滤波：学习连续卷积算子(Continuous Convolution Operators)

 

在目标跟踪算法中，ECO算法表现很优秀，是基于C-COT跟踪算法的改进（Martin 林雪平大学）。因此学习C-COT是理解和改

进ECO算法的基础和关键。

 

一、C-COT算法的整体核心原理如下图所示：

 

                       多分辨率深度特征图         习得的连续卷积滤波器      每层置信度              最终的连续置信度输出函数

 

　　图中是可视化的应用于多分辨率深度特征映射的连续卷积算子。 第一列是输入的 RGB patch 和预训练好的深层网络的第

一个卷积层和最后一个卷积层的特征图。第二列是框架学习到的连续卷积滤波器的可视化。每一层连续卷积输出的结果（第三

列）被组合成目标（绿色框）的最终连续置信度函数（第四列）。

　　文章提出一种用于学习连续空间域中的卷积算子的新公式，采用训练样本的隐式插值模型。通过学习一组卷积滤波器来产

生目标的连续域置信度图。 这可以在联合学习公式中实现多分辨率特征映射的完美融合。

　　除了多分辨率融合之外，连续域学习公式还可以实现精确的亚像素定位。 这一点通过用亚像素精确连续置信度图标记训练

样本来实现。因此这种构造也适用于精确特征点跟踪。

　　此外，这样的学习的方法具有辨别性，并且不需要在图像上明确插值实现亚像素精度。且已在流行的MPI Sintel数据上进行

了广泛的特征点跟踪实验，证明了C-COT的准确性和鲁棒性。

 

二、相关介绍和工作

   　 判别相关滤波器（DCF）表现让人满意。这些方法利用滑动窗口的循环相关属性训练回归器。最初，DCF方法仅限于单通

道特道。 后来DCF框架扩展到多通道特征图。多通道DCF可以将高维特征（如HOG和CN Color Names）纳入其中。除了包含

多通道特征之外，DCF框架最近也通过加入尺度估计(Scale Estimation)，非线性核函数(Non-linear kernels)，长期记忆(long-

term memory)，和减轻循环卷积的周期性影响等方法进行了显著改进。

　　随着深度CNN的出现，网络的全连接层被普遍用于图像表示。最近，最后一层卷积层被证明对图像分类更有利。另一方

面，与深层相比，第一层（浅层）的卷积层更适合视觉跟踪。深卷积层具有判别性，并具有高级视觉信息。相反，浅层包含高

空间分辨率的低层特征，有利于定位。独立DCF跟踪器的分层集合中采用了多个卷积层。与之相反，C-COT框架中提出了一种

新型的的连续方程，在这个联合学习框架中融合具有不同空间分辨率的多个卷积层。

　　而特征点跟踪不同于目标跟踪，它是准确评估特殊关键点运动的任务。大多数特征点跟踪方法都来自经典的KLT跟踪器。

KLT跟踪器是一种生成方法，原理是最小化两个图像块之间差异的平方和。在过去的几十年里，花费了大量精力来改进KLT跟踪

器。相比之下，C-COT是一种基于判别式学习的特征点跟踪方法。我们的方法：我们的主要贡献是用于学习连续空间域中的区

分卷积算子的理论框架。

 

C-COT与传统的DCF框架相比具有两大优势：

(１)允许多分辨率特征图的自然整合，如卷积层或多分辨率HOG和颜色特征的组合。特别适用于对象跟踪，检测和动作识别。

(２)连续公式能够实现准确的亚像素定位，这在许多特征点跟踪问题中至关重要。

 

三、学习连续卷积算子（Continuous Convolution Operators）

本节提出学习连续卷积算子的理论框架。 其中的公式是通用的，可用于有监督学习任务，如视觉跟踪和检测。

(１) 首先，在一维空间定义学习公式和方法。

复值函数 在空间 中，以 （ 0 ）为周期且勒贝格平方可积。 是一个希尔伯特空间，在此空间上

定义内积算子 ，则对于函数 ，有傅里叶变换对：

傅里叶级数定义为：