High-Speed Tracking withKernelized Correlation Filters（KCF）原理及代码详解

---

关于KCF 在网上的文章已经很多了，这篇文章就从我自己的理解分析的角度 来详细分析其原理以及代码

KCF原理

首先，我们假设训练的样本集为$\left({\mathbf{x}}_{\mathbf{i}},{\mathbf{y}}_{\mathbf{i}}\right)$，那么其线性回归函数$\mathbf{f}\left({\mathbf{x}}_{\mathbf{i}}\right)={\mathbf{\omega }}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}$ ，这其中，$\mathbf{\omega }$是列向量表示的权重系数，可以通过最小二乘法来求解，$$\underset{\mathbf{\omega }}{\min }\sum _{\mathbf{i}}{\left(\mathbf{f}\left({\mathbf{x}}_{\mathbf{i}}\right)-{\mathbf{y}}_{\mathbf{i}}\right)}^2+\mathbf{\lambda }||\mathbf{\omega }|{|}^2$$

目标是最小化我们的采样数据${\mathbf{x}}_{\mathbf{i}}$的计算标签 $\mathbf{f}\left({\mathbf{x}}_{\mathbf{i}}\right)$与下一帧真实目标位置的真实标签${\mathbf{y}}_{\mathbf{i}}$（回归目标）的距离，我计算出来的标签越像真实标签，说明我找到的下一帧的位置就离他真实的位置就越近，写矩阵的形式就是：$$\underset{\mathbf{\omega }}{\min }||{\mathbf{X}}_{\mathbf{w}}-\mathbf{y}|{|}^2+\mathbf{\lambda }||\mathbf{\omega }|{|}^2$$

其中$\mathbf{X}={\left[{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}\right]}^{\mathbf{T}}$的每一行表示一个向量， $\mathbf{y}$是列向量，每个元素对应一个样本的标签，于是令导数为0，可求得：$$\mathbf{\omega }={\left({\mathbf{X}}^{\mathbf{T}}\mathbf{X}+\mathbf{\lambda }\mathbf{I}\right)}^{-1}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}$$

因为后面实在傅里叶域内计算，牵涉到复数矩阵，所以我们将结果都统一写成复数域中形式：$$\mathbf{\omega }={\left({\mathbf{X}}^{\mathbf{H}}\mathbf{X}+\mathbf{\lambda }\mathbf{I}\right)}^{-1}{\mathbf{X}}^{\mathbf{H}}\mathbf{y}$$

其中${\mathbf{X}}^{\mathbf{H}}$表示复共轭转置矩阵。这里我们看到在求$\mathbf{\omega }$得最小值的时候有矩阵求逆的操作，这使得计算量比较大。然而根据之前说的$\mathbf{X}$ 是一个循环矩阵，形式为：

将矩阵进行傅立叶变换后，循环矩阵有一个性质:
$$\mathbf{X}=\mathbf{F}\text{diag}\left(\hat{\mathbf{x}}\right){\mathbf{F}}^{\mathbf{H}}$$

即一个循环矩阵可以用它的第一行的向量进行傅里叶变换之后表示， $\hat{\mathbf{x}}$表示对向量 $\mathbf{x}$进行了傅里叶变换，然后就可以发现一个循环矩阵可以转换成用一个向量来表示。将 $\mathbf{X}=\mathbf{F}\text{diag}\left(\hat{\mathbf{x}}\right){\mathbf{F}}^{\mathbf{H}}$式带入$\mathbf{\omega }={\left({\mathbf{X}}^{\mathbf{H}}\mathbf{X}+\mathbf{\lambda }\mathbf{I}\right)}^{-1}{\mathbf{X}}^{\mathbf{H}}\mathbf{y}$ 式化简：
$${\mathbf{X}}^{\mathbf{H}}\mathbf{X}=\mathbf{F}\text{diag}\left({\hat{\mathbf{x}}}^{\ast }\right)\text{diag}\left(\hat{\mathbf{x}}\right){\mathbf{F}}^{\mathbf{H}}$$

$${\mathbf{X}}^{\mathbf{H}}\mathbf{X}=\mathbf{F}\text{diag}\left({\hat{\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}}\right){\mathbf{F}}^{\mathbf{H}}$$

$$\hat{\mathbf{\omega }}=\text{diag}\left(\frac{{\hat{\mathbf{x}}}^{\ast }}{{\hat{\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}}+\mathbf{\lambda }}\right)\hat{\mathbf{y}}$$

$$\hat{\mathbf{\omega }}=\frac{{\hat{\mathbf{x}}}^{\ast }\odot \hat{\mathbf{y}}}{{\hat{\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}}+\mathbf{\lambda }}$$

其中$\hat{\mathbf{\omega }}$ 的意思就是进行了傅里叶转换，这样就从一个矩阵的运算换到了向量的运算。减少了求逆的操作。
但是我们大部分情况下都是面对的是非线性问题，这里就需要高维求解和核函数的概念
在求解非线性回归中的$\mathbf{\omega }$时，如果将数据${\mathbf{x}}_{\mathbf{i}}$ 映射到高维空间，那么就可以将非线性回归问题转换为线性求解，同时需要找到一个非线性映射函数$\mathbf{\phi }\left({\mathbf{x}}_{\mathbf{i}}\right)$，这时的 $\mathbf{\omega }$可以表示为：
$$\mathbf{\omega }=\sum _{\mathbf{i}}{\mathbf{\alpha }}_{\mathbf{i}}\mathbf{\phi }\left({\mathbf{x}}_{\mathbf{i}}\right)$$
其中 $\mathbf{\phi }\left({\mathbf{x}}_{\mathbf{i}}\right)$表示将 $\mathbf{x}$映射到高位空间的函数。
那我们这里 的目标函数 就可以表示成：
$$\mathbf{f}\left(\mathbf{z}\right)={\mathbf{\omega }}^{\mathbf{T}}\mathbf{z}=\sum _{\mathbf{i}=1}^{\mathbf{n}}{\mathbf{\alpha }}_{\mathbf{i}}\mathbf{\kappa }\left(\mathbf{z},{\mathbf{x}}_{\mathbf{i}}\right)$$

其中$\mathbf{\kappa }$表示核函数的定义运算为：
$${\mathbf{\phi }}^{\mathbf{T}}\left(\mathbf{x}\right)\mathbf{\phi }\left({\mathbf{x}}^{\prime }\right)=\mathbf{\kappa }\left(\mathbf{x},{\mathbf{x}}^{\prime }\right)$$

最后可以解得
$$\mathbf{\alpha }={\left(\mathbf{K}+\mathbf{\lambda }\mathbf{I}\right)}^{-1}\mathbf{y}$$

其中， $\mathbf{K}$为核函数的矩阵表示， $\mathbf{K}$也是一个循环矩阵，可以表示成$\mathbf{K}=\mathbf{C}\left({\mathbf{k}}^{\mathbf{x}\mathbf{x}}\right)$ ， ${\mathbf{k}}^{\mathbf{x}\mathbf{x}}$是核函数矩阵 $\mathbf{K}$的第一行向量
通过傅里叶对角化的性质 ${\mathbf{K}}^{\mathbf{z}}=\mathbf{C}\left({\mathbf{k}}^{\mathbf{x}\mathbf{z}}\right)$进行简化，得到下式：
$$\hat{\mathbf{\alpha }}=\frac{\hat{\mathbf{y}}}{{\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}}+\mathbf{\lambda }}$$

这里${\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}}$ 代表 $\mathbf{K}$矩阵的第一行元素的傅里叶变换。这样式子
$$\mathbf{f}\left(\mathbf{z}\right)={\mathbf{\omega }}^{\mathbf{T}}\mathbf{z}=\sum _{\mathbf{i}=1}^{\mathbf{n}}{\mathbf{\alpha }}_{\mathbf{i}}\mathbf{\kappa }\left(\mathbf{z},{\mathbf{x}}_{\mathbf{i}}\right)$$

由于${\mathbf{K}}^{\mathbf{z}}=\mathbf{C}\left({\mathbf{k}}^{\mathbf{x}\mathbf{z}}\right)$ ，其中$\mathbf{C}\left(\mathbf{x}\right)$表示由向量 $\mathbf{x}$循环移位得到的矩阵， ${\mathbf{K}}^{\mathbf{z}}$是所有训练样本和候补patch之间的核矩阵，可以表示成：
$$\mathbf{f}\left(\mathbf{z}\right)={\left({\mathbf{K}}^{\mathbf{z}}\right)}^{\mathbf{T}}\mathbf{\alpha }$$

傅里叶变换后的形式为：

$$\hat{\mathbf{f}}\left(\mathbf{z}\right)={\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{z}}\odot \hat{\mathbf{\alpha }}$$

现在就剩讨论一下$\mathbf{k}$ 的形式，如果$\mathbf{k}$ 是线性核的话就可以转换成我们在讨论线性问题时求得的w的傅里叶转换之后的形式。本篇文章中用的是高斯核，形式如下：

$${\mathbf{k}}^{{\mathbf{x}\mathbf{x}}^{\prime }}=\exp \left(-\frac{1}{{\mathbf{\sigma }}^2}\left(||\mathbf{x}|{|}^2+||{\mathbf{x}}^{\prime }|{|}^2-2{\mathcal{F}}^{-1}\left({\hat{\mathbf{x}}}^{\ast }\odot {\hat{\mathbf{x}}}^{\prime }\right)\right)\right)$$

实验步骤

代码分析

首先，读取视频帧，并判断是否读取成功

然后，用鼠标框选需要跟踪的目标

如果目标很大，就将其缩小，并且将我们自己画的框向外扩展1.5倍作为window_sz，我们在window_sz内进行寻找目标

再创建高斯形状的回归标签

这里最初的标签是这样的

将峰值移动到(0,0)的位置，主要作用是便于计算，因为峰值在(0,0)的位置的话，根据目标的坐标就可以很轻易的得出目标移动的方向和距离

再存储预先计算的余弦窗口

这里的余弦窗是这样的
，

再将相应的参数写入：

至此，以上只是前期准备工作，接下来进入真正的跟踪过程