KCF（核化相关滤波）跟踪公式推导笔记（2）——非线性滤波器的解、快速检测及快速核相关

本文链接：https://blog.csdn.net/discoverer100/article/details/54345209

上接推导笔记（1）——线性滤波器

论文题目：High-Speed Tracking with Kernelized Correlation Filters
作者主页：http://www.robots.ox.ac.uk/~joao/circulant/

在非线性回归条件下，最终的滤波器解为

$\hat \alpha {\rm{ = }}\frac{ { {\bf{\hat y}}}}{ { { { \bf \hat k}^{ {\bf{xx}}}} + \lambda }} \tag1$

其中，若采用高斯核，则

$KaTeX parse error: Undefined control sequence: \cal at position 144: …ght\|}^2} - 2{ {\̲c̲a̲l̲ ̲F}^{ - 1}}\left…$

以下是该公式的推导过程。

1. 将线性问题的输入映射到非线性特征空间

该过程包含两个方面：

（1）将线性滤波器的解 $\bf w$ ¹用样本的线性组合来表示

${\bf{w}} = \sum\limits_i { {\alpha _i}\varphi \left( { { {\bf{x}}_i}} \right)} \tag 3$

在这样的条件下，最优化下的变量不再是 $\bf w$ ，而是 $\bf \alpha$ 。该表达式是在对偶空间中进行的（此处需要参考SVM相关理论，此处不再赘述）。

（2）用点积进行表示：

$KaTeX parse error: Undefined control sequence: \cal at position 74: …}}} \right) = {\̲c̲a̲l̲ ̲K}\left( { {\bf{…$

因此，在线性条件下的回归问题： $f\left( {\bf{z}} \right) = { {\bf{w}}^T}{\bf{z}}$ ，经过非线性变换后的表达式为

$KaTeX parse error: Undefined control sequence: \cal at position 253: …{ {\alpha _i}} {\̲c̲a̲l̲ ̲K}\left( { {\bf{…$

其中 $n$ 表示 $n$ 个训练样本（参考KCF论文4.2节末尾及5.1节公式(15)相关表述）。

2. 推导核化滤波器

在核函数情况下，岭回归问题的解为

${\bf{\alpha }} = {\left( {K + \lambda I} \right)^{ - 1}}{\bf{y}} \tag 6$

其中， $\bf \alpha$ 是由各个系数 $\alpha_i$ 组成的向量， $K$ 是核矩阵，其各个元素的定义是： $KaTeX parse error: Undefined control sequence: \cal at position 8: K_{ij}=\̲c̲a̲l̲ ̲K \left( {\bf x…$ ， $\lambda$ 是正则项系数。里面的 $\bf x$ 和 $\bf y$ 都是训练集中的数据。公式(6)的推导过程可以参考Max Welling的Kernel ridge Regression，此处不再赘述。

利用循环矩阵的有关特性，对公式(6)进行对角化处理，可以提高计算效率。

2.1 Base sample + 置换矩阵 ⇒ 循环矩阵

训练时，采集一个感兴趣的图像块，将其拉伸为一个列向量作为基础样本（base sample），记作 $KaTeX parse error: Unknown column alignment: * at position 35: …{\begin{array}{*̲{20}{c}}{ {x_1}}…$ ，现在给定一个置换矩阵（permutation matrix）
$KaTeX parse error: Unknown column alignment: * at position 28: …{\begin{array}{*̲{20}{c}} 0&0&0&…$
尝试计算 ${P^0}{\bf{x}}$ ，得 $KaTeX parse error: Unknown column alignment: * at position 42: …{\begin{array}{*̲{20}{c}}{ {x_1}}…$ .

尝试计算 ${P^1}{\bf{x}}$ ，得 $KaTeX parse error: Unknown column alignment: * at position 34: …{\begin{array}{*̲{20}{c}}{ {x_n}}…$ .

尝试计算 ${P^2}{\bf{x}}=P \left( P \bf x \right)$ ，得 $KaTeX parse error: Unknown column alignment: * at position 34: …{\begin{array}{*̲{20}{c}}{ {x_n-1…$ .

…

尝试计算 ${P^{n-1}}{\bf{x}}=P \dots \left( P \bf x \right)$ ，得 $KaTeX parse error: Unknown column alignment: * at position 34: …{\begin{array}{*̲{20}{c}}{ {x_2}}…$ .

由此可以将上述 ${\bf x}_1, {\bf x}_2, \dots, {\bf x}_n$ 向量组合起来，构成一个循环矩阵 $X$ .

2.2 一个重要结论

首先指出该重要结论（即KCF论文中的Theorem 1）：假设存在一种核函数 $KaTeX parse error: Undefined control sequence: \cal at position 1: \̲c̲a̲l̲ ̲K$ ，满足 $KaTeX parse error: Undefined control sequence: \cal at position 2: {\̲c̲a̲l̲ ̲K} \left( {\bf …$ ，那么相关核矩阵 $K$ 也是循环矩阵，且 $K=C\left( {\bf k}^{\bf xx} \right)$ ，其中 $M$ 是一种置换矩阵（permutation matrix）， ${\bf k}^{\bf xx}$ 是相关核矩阵 $K$ 的第一行，现在证明 $K=C\left( {\bf k}^{\bf xx} \right)$ .

证明：根据矩阵 $K$ 的定义 $KaTeX parse error: Undefined control sequence: \cal at position 8: K_{ij}=\̲c̲a̲l̲ ̲K \left( {\bf x…$ ，其中 ${\bf x}_i$ 表示训练样本集 $X$ 中的一个移位样本（参考KCF论文4.1节中的表述），可以将矩阵 $K$ 表示为如下矩阵（假设矩阵有4行4列）：

数据内容：
$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{11}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{12}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{13}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{14}=\̲c̲a̲l̲ ̲K \left( {\bf x…$
$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{21}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{22}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{23}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{24}=\̲c̲a̲l̲ ̲K \left( {\bf x…$
$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{31}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{32}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{33}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{34}=\̲c̲a̲l̲ ̲K \left( {\bf x…$
$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{41}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{42}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{43}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{44}=\̲c̲a̲l̲ ̲K \left( {\bf x…$

同时根据定义， ${\bf k}^{\bf xx}$ （即 ${\bf k}^{ {\bf x}_1{\bf x}_1}$ ）是核矩阵 $K$ 的第一行，也可以将 ${\bf k}^{\bf xx}$ 表示为如下向量：

数据内容：
$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{11}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{12}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{13}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{14}=\̲c̲a̲l̲ ̲K \left( {\bf x…$

现在，观察 $K_{11}$ 和 $K_{22}$ ，从矩阵数据可知，则

$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{11}=\̲c̲a̲l̲ ̲K \left( {\bf x…$

$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{22}=\̲c̲a̲l̲ ̲K \left( {\bf x…$

而 $KaTeX parse error: Undefined control sequence: \cal at position 2: {\̲c̲a̲l̲ ̲K} \left( {\bf …$ ，其中 $M$ 是一种置换矩阵（permutation matrix），因为训练数据集 $X$ 为循环矩阵（参考线性滤波器的解 $\bf w$ ¹），而在循环矩阵中， ${\bf x}_2$ 可以由一个置换矩阵（permutation matrix）乘以它前面的 ${\bf x}_1$ 得到，也就是 ${\bf x}_2 = M{\bf x}_1$ ，从而 $KaTeX parse error: Undefined control sequence: \cal at position 2: {\̲c̲a̲l̲ ̲K} \left( {\bf …$ .

另外前面已经做好假设，存在一种核函数 $KaTeX parse error: Undefined control sequence: \cal at position 1: \̲c̲a̲l̲ ̲K$ ，满足 $KaTeX parse error: Undefined control sequence: \cal at position 2: {\̲c̲a̲l̲ ̲K} \left( {\bf …$ ，这样可以得出结论 $K_{11}=K_{22}$ ，同理，还可以得出： $K_{12}=K_{23}$ 、 $K_{13}=K_{24}$ 、 $K_{14}=K_{21}$ …这样可以得出矩阵 $K$ 的另一种表示：

数据内容：
$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{11}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{12}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{13}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{14}=\̲c̲a̲l̲ ̲K \left( {\bf x…$
$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{14}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{11}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{12}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{13}=\̲c̲a̲l̲ ̲K \left( {\bf x…$
$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{13}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{14}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{11}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{12}=\̲c̲a̲l̲ ̲K \left( {\bf x…$
$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{12}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{13}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{14}=\̲c̲a̲l̲ ̲K \left( {\bf x…$	$KaTeX parse error: Undefined control sequence: \cal at position 8: K_{11}=\̲c̲a̲l̲ ̲K \left( {\bf x…$

观察该矩阵数据，可以发现该矩阵的第二行是第一行的位移，第三行又是第二行的位移…，这就是 $C\left( {\bf k}^{\bf xx} \right)$ ，因此

$K=C\left( {\bf k}^{\bf xx} \right) \tag 7$

证明完毕。

进一步结合本笔记2.1节中关于置换矩阵（permutation matrix）的移位作用，我们有
$KaTeX parse error: Undefined control sequence: \cal at position 22: …{\bf{xx'}}} = {\̲c̲a̲l̲ ̲K}\left( { {\bf{…$

从核函数角度来看，上式即为
$k_i^{ {\bf{xx'}}} = {\phi ^T}\left( { {\bf{x'}}} \right)\phi \left( { {P^{i - 1}}{\bf{x}}} \right) \tag {7.2}$

2.3 核化滤波器表达式

从前述公式(6)开始，利用2.2节的重要结论，将公式(6)中的矩阵 $K$ 用 $C\left( {\bf k}^{\bf xx} \right)$ 代替，得到下式：
$\begin{array}{l}{\bf{\alpha }} & = {\left[ {C\left( {\bf k}^{\bf xx} \right) + \lambda I} \right]^{ - 1}}{\bf{y}} \\ & = {\left[ {F{\rm{diag}}\left( { { { {\bf{\hat k}}}^{ {\bf{xx}}}}} \right){F^H} + \lambda I} \right]^{ - 1}}{\bf{y}}\end{array} \tag 8$