从二分类问题到KCF的公式推导

KCF 算法推导

第一部分 线性可分

分类器建立

我们从一个故事开始讲起。

在青青草原上有两个村子，一个是羊村，一个是狼村。为了防止狼村的灰太狼们过来吃羊，在杨村要修一个栅栏。如图所示，这个栅栏修成一个直的就好。如果这条笔直的栅栏，能将两个村子分开，我们就称其为线性可分，这条栅栏，用线性函数来表示：$f(x)=W^{T}x$ 。

栅栏下方的是羊村，栅栏上方的是狼村。用函数表示就是：$f(喜羊羊)=W^T(喜羊羊)<0(羊村)$， $f(灰太狼)=W^T(灰太狼)>0(狼村)$。

可以看出，由于输入的不同，所得到的分类结果也不同。这是一个非正即负的二分类方法。假设草原上新来一只羊，那么它应该被分到羊村，否则就是羊入狼口了。

重新整理一下，在草原上已经存在的羊群 🐑 ，和狼群🐺之间，我们建了一个直线的栅栏 $f(x)$ ，将两村分开。对于新来到草原的动物，如果是羊，就根据栅栏建立的规则，划分到羊村，反之亦然。可以看出，栅栏 $f(x)$ 既是两村的划分，又是草原上动物的归类标准。假设输入的动物是 $x_i$ ，输出的分类是 $y_i$ ，他们之间的关系是：$f(x_i)=W^T{x}_i=y_i$。

判断一只动物的归属，当然要从它的生理特征来入手，比如手脚的数目，直立行走，毛发颜色，生活习性等方面，这些作为动物的特征属性，如果为每个属性都建立一个标记，假设这些属性的数量是 $d$，用数学语言表示就是：$x_i=[x_{i1},\dots ,x_{id}]$ （这里是行向量），而 $W$ 可以看成这些属性，在判断动物类别上的权重，因此也是 $d$ 维的。由于并不是没种属性对判断动物种类的重要性都相等，比如双足行走这个特征对区别喜洋洋和灰太狼来说就并没有很重要的意义。

当然，归类可能不那么准确，一个好的分类器就是要让尽可能让分类结果准确，否则就会有羊羊 🐑 被吃掉。

为了评判分类器的好坏，我们建立一个名为损失函数的东西：
$$Loss=\sum _{i=1}^n||W^T{x}_i-y_i|{|}^2+\lambda ||W|{|}^2$$
这里的 $\lambda$ 只是为了让结果中的分母不出现 0。

我们期望的结果是损失函数的结果为0，即分类器中没有损失。再来看，这个分类器中，只有一个未知数 $W$（$\lambda$是个非常小的数，不起到决定作用，可以不用考虑）。损失函数看形式，一定是个非负数（是个二次项）。那么函数的最小值，一定在导数为0的部分。先对损失函数整理一下，让它在形式上更好看一些。假设有一个向量 $c$,它的每一项 $c_i=W^T{x}_i-y_i$， 则${\sum }_{i=1}^n||W^T{x}_i-y_i|{|}^2={\sum }_{i=1}^n{c}_i^2=<c,c>=||c|{|}^2$，这里面用到了向量各元素平方和，就是向量内积，也是向量的2范数。又假设 $X=[x_1,\cdots ,x_n{]}^T$，$y=[y_1,\cdots ,y_n{]}^T$，两个都是列向量。$W,x_i$ 是 $d$ 维，即 $x_i=[x_{i1},\cdots ,x_{id}{]}^T$，$W=[w_1,\cdots ,w_d{]}^T$。
$$\begin{array}{rl}c& =\left[\begin{array}{c}{w}_1{x}_{11}+\cdots +w_d{x}_{1d}-y_1\\ \cdots \\ w_1{x}_{n1}+\cdots +w_d{x}_{nd}-y_n\end{array}\right]\\ & =\left[\begin{array}{c}{w}_1{x}_{11}+\cdots +w_d{x}_{1d}\\ \cdots \\ w_1{x}_{n1}+\cdots +w_d{x}_{nd}\end{array}\right]-\left[\begin{array}{c}{y}_1\\ \cdots \\ y_n\end{array}\right]\\ & =\left[\begin{array}{c}{x}_{11},\cdots ,x_{1d}\\ \cdots \\ x_{n1},\cdots ,x_{nd}\end{array}\right]\left[\begin{array}{c}{w}_1\\ \cdots \\ w_d\end{array}\right]-y\\ & =\left[\begin{array}{c}{x}_1^T\\ \cdots \\ x_n^T\end{array}\right]W-y=XW-y\end{array}$$
这里，
$$\begin{gathered} X=\left[\begin{array}{c}{x}_{11},\cdots ,x_{1d}\\ \cdots \\ x_{n1},\cdots ,x_{nd}\end{array}\right]={\left[\begin{array}{c}{x}_1^T\\ \cdots \\ x_n^T\end{array}\right]}_{n\times d} \\ {X}^T={\left[\begin{array}{c}{x}_{11},x_{21},\cdots ,x_{n1}\\ \cdots \\ x_{1d},x_{2d},\cdots ,x_{nd}\end{array}\right]}_{d\times n}={\left[\begin{array}{c}{x}_1,\cdots ,x_n\end{array}\right]}_{d\times n} \end{gathered}$$

$$\begin{array}{rl}Loss& =\sum _{i=1}^n||W^T{x}_i-y_i|{|}^2+\lambda ||W|{|}^2\\ & =||XW-y|{|}^2+\lambda ||W|{|}^2\end{array}$$

对损失函数求导，并令其导数为0，可以得到下面的关系：
$$\begin{array}{rl}Loss& =L1+L2\\ L1& =||XW-y|{|}^2=(XW-y{)}^T(XW-y)=W^{T}X{X}^{T}W-y^{T}XW-W^T{X}^{T}y+y^{T}y\\ L2& =\lambda ||W|{|}^2\\ \frac{\partial Loss}{\partial W}& =\frac{\partial L1}{\partial W}+\frac{\partial L2}{\partial W}\\ \frac{\partial L1}{\partial W}& =\frac{\partial W^{T}X{X}^{T}W}{\partial W}-2\frac{\partial y^{T}XW}{\partial W}+\frac{\partial y^{T}y}{\partial W}=2X^{T}XW-2X^{T}y\\ \frac{\partial L2}{\partial W}& =2\lambda W\\ \frac{\partial Loss}{\partial W}& =2X^{T}XW-2X^{T}y+2\lambda W=0\\ \therefore W& =(X^{T}X+\lambda I{)}^{-1}{X}^{T}y\end{array}$$
这里面，设$X{X}^T=A$，则 $\frac{\partial W^{T}X{X}^{T}W}{\partial W}=\frac{\partial W^{T}AW}{\partial W}$。
$$\frac{\partial W^{T}AW}{\partial w_k}=\frac{\partial {\sum }_{i=1}^n{\sum }_{j=1}^n{w}_i{A}_{ij}{w}_j}{\partial w_k}=\sum _{i=1}^n{A}_{ik}{x}_i+\sum _{i=1}^n{A}_{kj}{x}_j$$
可以求得
$$\frac{\partial W^{T}X{X}^{T}W}{\partial W}=(X{X}^T{)}^{T}W+X{X}^{T}W=2X{X}^{T}W$$
关于矩阵求导部分，可以参考链接 机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法。

$W$ 形式的化简

现在遇到一个问题，就是如果草原上原来的动物很多，每个动物的特征又很多，则分类器运算复杂度是非常高的，特别是还要进行矩阵的逆运算。如果青青草原上的这些动物，满足某些特点，这些特点再计算时可以大大简化计算量的话，那这个分类器的执行效率将会非常高。

回看分类器里 $X$ 的组成，它是由一个个代表动物属性的特征组成：
$$\begin{array}{r}X={\left[\begin{array}{c}{x}_{11},x_{12},\dots ,x_{1d}\\ \cdots \\ x_{n1},x_{n2},\dots ,x_{nd}\end{array}\right]}_{n\times d}\end{array}$$
这里，用到了循环矩阵来对原分类器进行化简。

循环矩阵可以用它的第一行来表示，即 $X=C(x)$ 。这里的小写字母 $x$ 就是矩阵 $X$ 的第一行。比如下面这就是一种：
$$C(x)=\left[\begin{array}{ccccc}{x}_1& x_2& \cdots & x_{n-1}& x_n\\ x_2& x_3& \cdots & x_n& x_1\\ \cdots & & & & \\ x_n& x_1& \cdots & x_{n-2}& x_{n-1}\end{array}\right]$$
循环矩阵有很多非常好的性质，比如：

性质1：循环矩阵可以写成：$X=C(x)=Fdiag(\hat{x})F^H$

这里的 $\hat{x}$ 表示 $x$ 的傅里叶变换； $F$ 为离散傅立叶矩阵，可以用一个复数 $\omega =e^{-2\pi i/n}$ 表示，其中 $n$ 为方阵 $F$ 的尺寸。$F^H$是$F$的共轭转置矩阵，$F{F}^H=I$。
$$F=\left[\begin{array}{ccccc}& & & & \\ 1& 1& \cdots & 1& 1\\ 1& \omega & \cdots & {\omega }^{n-2}& {\omega }^{n-1}\\ 1& {\omega }^2& \cdots & {\omega }^{2(n-2)}& {\omega }^{2(n-1)}\\ & \cdots & & & \\ 1& {\omega }^{n-1}& \cdots & {\omega }^{(n-1)(n-2)}& {\omega }^{(n-1{)}^2}\end{array}\right]$$
将这种形式，带入到 $W$ 中，符号⊙表示矩阵元素级的乘法，即位置相同的各元素分别相乘。
$$\begin{array}{rl}W& =(X^{T}X+\lambda I{)}^{-1}{X}^{T}y\\ & =((Fdiag(\hat{x})F^H{)}^{T}Fdiag(\hat{x})F^H+\lambda FI{F}^H{)}^{-1}(Fdiag(\hat{x})F^H{)}^{T}y\\ & =(Fdiag({\hat{x}}^{\ast })F^{H}Fdiag(\hat{x})F^H+\lambda FI{F}^H{)}^{-1}Fdiag({\hat{x}}^{\ast })F^{H}y\\ & =(Fdiag({\hat{x}}^{\ast })diag(\hat{x})F^H+\lambda FI{F}^H{)}^{-1}Fdiag({\hat{x}}^{\ast })F^{H}y\\ & =(Fdiag({\hat{x}}^{\ast }\odot \hat{x})F^H+\lambda FI{F}^H{)}^{-1}Fdiag({\hat{x}}^{\ast })F^{H}y\\ & =(Fdiag(({\hat{x}}^{\ast }\odot \hat{x}+\lambda )F^H{)}^{-1}Fdiag({\hat{x}}^{\ast })F^{H}y\\ & =Fdiag(\frac{1}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda })F^{H}Fdiag({\hat{x}}^{\ast })F^{H}y\\ & =Fdiag(\frac{1}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda })diag({\hat{x}}^{\ast })F^{H}y\\ & =Fdiag(\frac{{\hat{x}}^{\ast }}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda })F^{H}y\end{array}$$
我们回头再来看一下性质1，$C(x)=Fdiag(\hat{x})F^H$，加入我们用 $y$ 来表示 $\hat{x}$（注意这里的 $y$ 和之前的不是一个意思，只是形式上这么用一下），那么 $x$ 就可以表示成 ${\mathcal{F}}^{-1}(y)$ （注意，这里的 $\mathcal{F}$ 是花体，表示傅里叶变换，加个-1的上标，表示傅里叶逆变换，不要和之前的 $F$ 搞混，是两种意思）。把 $x$ 都换成响应的 $y$ 来表示：
$$C(x)=Fdiag(\hat{x})F^H\Rightarrow C({\mathcal{F}}^{-1}(y))=Fdiag(y)F^H$$
再进行一次变量替换，令 $\frac{{\hat{x}}^{\ast }}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda }=y$ ，则：
$$C({\mathcal{F}}^{-1}(y))=Fdiag(y)F^H$$

$$C({\mathcal{F}}^{-1}(\frac{{\hat{x}}^{\ast }}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda }))=Fdiag(\frac{{\hat{x}}^{\ast }}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda })F^H$$
$$W=Fdiag(\frac{{\hat{x}}^{\ast }}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda })F^{H}y\Rightarrow W=C({\mathcal{F}}^{-1}(\frac{{\hat{x}}^{\ast }}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda }))y$$

性质2：$\mathcal{F}(C(x)y)={\hat{x}}^{\ast }\odot \hat{y}=F^{\ast }(x)\odot F(y)$

根据这个性质，我们又可以对上面 $W$的表达式进一步简化：
$$\begin{gathered} W=C({\mathcal{F}}^{-1}(\frac{{\hat{x}}^{\ast }}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda }))y \\ \Downarrow \\ \begin{array}{rl}F(W)& =F^{\ast }({\mathcal{F}}^{-1}(\frac{{\hat{x}}^{\ast }}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda }))\odot F(y)=(\frac{{\hat{x}}^{\ast }}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda }{)}^{\ast }\odot F(y)\end{array} \end{gathered}$$
因为${\hat{x}}^{\ast }$ ，$\hat{x}$是共轭关系，${\hat{x}}^{\ast }\odot \hat{x}$ 每个元素都是实数，其结果取共轭，元素值不会变，再加上$({\hat{x}}^{\ast }{)}^{\ast }=\hat{x}$，所以上式可继续化简：
$$\begin{gathered} F(W)=\hat{W}=(\frac{{\hat{x}}^{\ast }}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda }{)}^{\ast }\odot F(y)=\frac{\hat{x}\odot \hat{y}}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda } \\ \Downarrow \\ \hat{W}=\frac{\hat{x}\odot \hat{y}}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda } \end{gathered}$$
这里，继续用帽子形状的上标表示变量的傅里叶变换。

这个简单的二分类模型，应用范围非常广。除了可以划分羊村、狼村这样简单的模型，还可以用于目标跟踪问题，比如比较出名的KCF算法。

还是利用前面的分类器，$y=f(x)=W^{T}x$，如果这里的 $x$ 表示的是我们输入的图像，$y$ 是这幅图像与我们预设目标相匹配的结果，可以是0，1或者也可以是匹配的概率，这个由个人设定； $W$ 是我们设定或通过训练得到的权重。

得到 $W$的表示方法后，分类器可以写成 $f(z)=W^{T}z=(X^{T}X+\lambda I{)}^{-1}{X}^{T}yz$，注意，这里的 $X,z$ 都是经过 $\varphi$ 映射后的值，这里为了方便，还用原来的形式。而为了与计算 $W$时用到的 $x_i$ 相区别，这里用 $z$ 表示。用羊村的故事来理解，就是 $x_i$ 表示青青草原上现有的动物，而 $z$ 是新来的动物，$f(z)$ 就是利用草原原来的动物集$X$和对应的分类标签 $y$ 来计算新来的动物 $z$ 应该所属的分类。

第二部分 线性不可分

刚才，我们所做的是用一条笔直的栏杆，将羊村和狼村分开。但是有很多情况下，我们无法找到这样一条直线进行分割，比如下面这种情况。

此时，可以借助SVM的思想，将这个二维平面上的问题，投射到高维上，在从高维空间上，找到一个与那条直栅栏类似的超平面来完成分割，如下所示。

关于SVM，推荐阅读《支持向量机通俗导论（理解SVM的三层境界）》

此时输入$x_i$和输出$y_i$ 不在具有线性关系。但是可以找到一个映射：$\varphi$ 使得$\varphi (x_i)$ 与$y_i$ 继续保持线性关系，用函数表示就是：
$$y_i=f(\varphi (x_i))=W^T\varphi (x_i)$$
需要注意的是，此时的 $W$ 与之前线性可分条件下的维度是不一样的。因为映射 $\phi $ 将数据从低纬度映射到高纬度，在低纬度下的数据特征假设为 $d$ 维，那么高纬度下的维度，则是与 $\phi $ 相关的一个数，假设为 $m$ ，是一个由向量$\varphi (x_1),\varphi (x_2),\dots ,\varphi (x_n)$ 张成的向量空间中的向量。在高纬度下，可以这样表示$W$，即
$$W=\sum _{i=1}^n{a}_i\varphi (x_i)=[\varphi (x_1),\dots ,\varphi (x_n){]}_{m\times n}{\left[\begin{array}{c}{a}_1\\ \cdots \\ a_n\end{array}\right]}_{n\times 1}={\varphi }^T(X)a$$
其中
$$\begin{gathered} \varphi (X)={\left[\begin{array}{c}{\varphi }^T(x_1)\\ \cdots \\ {\varphi }^T(x_n)\end{array}\right]}_{n\times m} \\ {\varphi }^T(X)=\varphi (X^T)={\left[\begin{array}{c}\varphi (x_1),\cdots ,\varphi (x_n)\end{array}\right]}_{m\times n} \\ a=[a_1,\dots ,a_n{]}^T \end{gathered}$$
表达式中 $a_i$ 是未知量，为了求它的表达，与线性可分时相似，还是建立损失函数并求导计算。
$$\begin{array}{rl}Loss& =\sum _{i=1}^n||W^T\varphi (x_i)-y_i|{|}^2+\lambda ||W|{|}^2\\ & =||\varphi (X)W-y|{|}^2+\lambda ||W|{|}^2\\ & =||\varphi (X){\varphi }^T(X)a-y|{|}^2+\lambda ||{\varphi }^T(X)a|{|}^2\\ & =(\varphi (X){\varphi }^T(X)a-y{)}^T(\varphi (X){\varphi }^T(X)a-y)+\lambda ({\varphi }^T(X)a{)}^T{\varphi }^T(X)a\\ & =(\varphi (X){\varphi }^T(X)a-y{)}^T(\varphi (X){\varphi }^T(X)a-y)+\lambda ({\varphi }^T(X)a{)}^T{\varphi }^T(X)a\end{array}$$
将 $\varphi (X)$ 简写成$\phi $ ，${\varphi }^T(X)$ 简写成 ${\varphi }^T$，上式整理成：
$$\begin{array}{rl}Loss& =(\varphi (X){\varphi }^T(X)a-y{)}^T(\varphi (X){\varphi }^T(X)a-y)+\lambda ({\varphi }^T(X)a{)}^T{\varphi }^T(X)a\\ & =(a^T\varphi {\varphi }^T-y^T)(\varphi {\varphi }^{T}a-y)+\lambda a^T\varphi {\varphi }^{T}a\\ & =a^T\varphi {\varphi }^T\varphi {\varphi }^{T}a-a^T\varphi {\varphi }^{T}y-y^T\varphi {\varphi }^{T}a+y^{T}y+\lambda a^T\varphi {\varphi }^{T}a\end{array}$$
注意到，多项式里的每一项都是标量，因此有转置等于本身，进一步整理：
$$\begin{array}{rl}Loss& =a^T\varphi {\varphi }^T\varphi {\varphi }^{T}a-a^T\varphi {\varphi }^{T}y-y^T\varphi {\varphi }^{T}a+y^{T}y+\lambda a^T\varphi {\varphi }^{T}a\\ & =a^T\varphi {\varphi }^T\varphi {\varphi }^{T}a-2y^T\varphi {\varphi }^{T}a+y^{T}y+\lambda a^T\varphi {\varphi }^{T}a\end{array}$$
利用矩阵求导公式：$\frac{\partial x^{T}Ax}{\partial x}=A^{T}x+Ax$， $\frac{\partial a^{T}x}{\partial x}=a$ ，再进一步整理：
$$\begin{array}{rl}\frac{\partial Loss}{\partial a}& =\frac{\partial (a^T\varphi {\varphi }^T\varphi {\varphi }^{T}a-2y^T\varphi {\varphi }^{T}a+y^{T}y+\lambda a^T\varphi {\varphi }^{T}a)}{\partial a}\\ & =\frac{\partial (a^T\varphi {\varphi }^T\varphi {\varphi }^{T}a)}{\partial a}-\frac{\partial (2y^T\varphi {\varphi }^{T}a)}{\partial a}+\frac{\partial (y^{T}y)}{\partial a}+\frac{\partial (\lambda a^T\varphi {\varphi }^{T}a)}{\partial a}\\ & =2\varphi {\varphi }^T\varphi {\varphi }^{T}a-2\varphi {\varphi }^{T}y+2\lambda \varphi {\varphi }^{T}a\end{array}$$
令损失函数导数为0：
$$\begin{gathered} \frac{\partial Loss}{\partial a}=2\varphi {\varphi }^T\varphi {\varphi }^{T}a-2\varphi {\varphi }^{T}y+2\lambda \varphi {\varphi }^{T}a=0 \\ \Downarrow \\ \varphi {\varphi }^T(\varphi {\varphi }^T+\lambda I)a=\varphi {\varphi }^{T}y \\ \Downarrow \\ a=(\varphi {\varphi }^T+\lambda I{)}^{-1}y \end{gathered}$$
注：这里利用了 $\varphi {\varphi }^T$ 可逆。

在把 $a$ 带入到分类器中，可以得到：
$$\begin{array}{rl}f(\varphi (z))& =W^T\varphi (z)\\ & =({\varphi }^T(X)a{)}^T\varphi (z)\\ & =a^T\varphi (X)\varphi (z)\\ & =((\varphi (X){\varphi }^T(X)+\lambda I{)}^{-1}y{)}^T\varphi (X)\varphi (z)\end{array}$$
公式里出现了，$\varphi (X){\varphi }^T(X)$，$\varphi (X)\varphi (z)$，

假设 $K=\varphi (X){\varphi }^T(X)$ ，这是个核空间的核矩阵。
$$\begin{array}{rl}K& =\varphi (X){\varphi }^T(X)\\ & =\left[\begin{array}{c}\\ {\varphi }^T(x_1)\\ \cdots \\ {\varphi }^T(x_n)\end{array}\right]\left[\begin{array}{ccc}& & \\ \varphi (x_1)& \cdots & \varphi (x_n)\end{array}\right]\\ & =\left[\begin{array}{ccc}& & \\ {\varphi }^T(x_1)\varphi (x_1)& \cdots & {\varphi }^T(x_1)\varphi (x_n)\\ \cdots & & \\ {\varphi }^T(x_n)\varphi (x_1)& \cdots & {\varphi }^T(x_n)\varphi (x_n)\end{array}\right]\end{array}$$
前面我们已经知道，循环矩阵有很多非常好的性质可以简便运算过程。在这里，同样为了简化运算，假设存在一个映射 $\varphi$，使得 $K$ 是一个循环矩阵。那么，它可以用首行来表示，假设首行为 $k^{xx}$，则 $K=C(k^{xx})$ 。

之前的 $a$ 则又可以写成：
$$\begin{gathered} a=(\varphi {\varphi }^T+\lambda I{)}^{-1}y=Fdiag({\hat{k}}^{xx}+\lambda {)}^{-1}{F}^{H}y \\ \Downarrow \\ a=C({\mathcal{F}}^{-1}(\frac{1}{{\hat{k}}^{xx}+\lambda }))y \\ \Downarrow \\ \hat{a}=\mathcal{F}({\mathcal{F}}^{-1}(\frac{1}{{\hat{k}}^{xx}+\lambda }){)}^{\ast }\odot \hat{y} \\ \Downarrow \\ \hat{a}=\frac{\hat{y}}{({\hat{k}}^{xx}+\lambda {)}^{\ast }} \\ \Downarrow \\ \hat{a}=\frac{\hat{y}}{{\hat{k}}^{xx}+\lambda } \end{gathered}$$
最后一步，用到了对称向量的傅里叶变换为实数，这里的 ${\hat{k}}^{xx}$是一个对称向量。参考：【目标跟踪】KCF高速跟踪详解。
$$\begin{array}{rl}f& =a^T\varphi (X)\varphi (z)\end{array}$$
当要测试的图也有和 $X$ 中同样数目的时候，假设为 $n$，设 ：

${\varphi }^T(Z)=[\varphi (z_1),\cdots ,\varphi (z_n)]$

$f^T(Z)=[f(\varphi (z_1)),\cdots ,f(\varphi (z_n))]$
$$f^T(Z)=a^T\varphi (X){\varphi }^T(Z)$$
可以看到，这里 $\varphi (X){\varphi }^T(Z)$ 与 $K=\varphi (X){\varphi }^T(X)$ 形式上一样的，因此，也可以认为是一个循环矩阵。设这个新的矩阵为 $K^Z=\varphi (X){\varphi }^T(Z)$。 $f^T(Z)=a^T{K}^Z$，所以 $f(Z)=(K^Z{)}^{T}a$。

参考：KCF（核化相關濾波）跟蹤公式推導筆記（2）——非線性濾波器的解、快速檢測及快速核相關

我们来推导 $f(Z)$ 的表达式。

假设 $k^{xz}$ 是矩阵 $K^Z$ 的首行，由于它是个循环矩阵，可以写成 $K^Z=C(k^{xz})=Fdiag({\hat{k}}^{xz})F^H$。$(K^Z{)}^T=Fdiag(({\hat{k}}^{xz}{)}^{\ast })F^H=C((k^{xz}{)}^{\ast })$。

令 $\beta =(k^{xz}{)}^{\ast }$ （这个替代，纯粹是为了方便书写）。 $f(Z)=C(\beta )a$
$$\begin{gathered} f(Z)=C(\beta )a \\ \Downarrow \\ \hat{f}(Z)=\mathcal{F}(C(\beta )a)={\hat{\beta }}^{\ast }\odot \hat{a}={\hat{k}}^{xz}\odot \hat{a} \end{gathered}$$
又因为前面已经得到了 $\hat{a}$ 的表达式，将其带入，得到：
$$\hat{f}(Z)={\hat{k}}^{xz}\odot \frac{\hat{y}}{{\hat{k}}^{xx}+\lambda }$$
到此，函数计算中的难点集中在了 ${\hat{k}}^{xx}$ 和 ${\hat{k}}^{xz}$ 之中。
$$\begin{array}{rl}K& =\varphi (X){\varphi }^T(X)=\left[\begin{array}{c}\\ {\varphi }^T(x_1)\\ \cdots \\ {\varphi }^T(x_n)\end{array}\right]\left[\begin{array}{ccc}& & \\ \varphi (x_1)& \cdots & \varphi (x_n)\end{array}\right]\\ & =\left[\begin{array}{ccc}& & \\ {\varphi }^T(x_1)\varphi (x_1)& \cdots & {\varphi }^T(x_1)\varphi (x_n)\\ \cdots & & \\ {\varphi }^T(x_n)\varphi (x_1)& \cdots & {\varphi }^T(x_n)\varphi (x_n)\end{array}\right]\end{array}$$
$K$ 的第一行，即 $k^{xx}$ 为 $[{\varphi }^T(x_1)\varphi (x_1),\cdots ,{\varphi }^T(x_1)\varphi (x_n)]$

对这个求傅里叶变换，也是非常有难度的。因此需要进一步化简。

这里，要用到核函数的一种性质，即 ${\varphi }^T(\mu )\varphi (\upsilon )=k(\mu ,\upsilon )=g({\mu }^T\upsilon )$

在KCF算法里（终于提到了KCF），输入的 $x_i$ 都是经过不断地循环获得的，生成的是循环矩阵。它们之间的关系，所有的输入都可以通过初始向量（假设是 $x_1$ ）经过左乘、右乘矩阵得到。即 $x_i=P^{i-1}{x}_1$。
$$\begin{array}{rl}{k}^{xx}& =[{\varphi }^T(x_1)\varphi (x_1),\cdots ,{\varphi }^T(x_1)\varphi (x_n)]\\ & =[g(x_1^T{x}_1),g(x_1^T{x}_2),\cdots ,g(x_1^T{x}_{n-1}),g(x_1^T{x}_n)]\\ & =[g(x_1^T{P}^0{x}_1),g(x_1^T{P}^1{x}_1),\cdots ,g(x_1^T{P}^{n-2}{x}_1),g(x_1^T{P}^{n-1}{x}_1)]\\ & =g[x_1^T{P}^0{x}_1,x_1^T{P}^1{x}_1,\cdots ,x_1^T{P}^{n-2}{x}_1,x_1^T{P}^{n-1}{x}_1]\end{array}$$

$$\begin{gathered} C(x_1)x_1=\left[\begin{array}{c} \\ {x}_1^T\\ x_2^T\\ \cdots \\ x_n^T\end{array}\right]x_1=\left[\begin{array}{cccc} \\ {x}_{11}& x_{12}& \cdots & x_{1m}\\ x_{21}& x_{22}& \cdots & x_{2m}\\ \cdots & & & \\ x_{n1}& x_{n2}& \cdots & x_{nm}\end{array}\right]\left[\begin{array}{c} \\ {x}_{11}\\ x_{12}\\ \cdots \\ x_{1m}\end{array}\right]=\left[\begin{array}{c} \\ {x}_1^T{x}_1\\ x_2^T{x}_1\\ \cdots \\ x_n^T{x}_1\end{array}\right] \\ \Downarrow \\ g(C(x_1)x_1)=g\left[\begin{array}{c} \\ {x}_1^T{x}_1\\ x_2^T{x}_1\\ \cdots \\ x_n^T{x}_1\end{array}\right]=\left[\begin{array}{c} \\ g(x_1^T{x}_1)\\ g(x_2^T{x}_1)\\ \cdots \\ g(x_n^T{x}_1)\end{array}\right]=\left[\begin{array}{c} \\ g(x_1^T{x}_1)\\ g(x_1^T{x}_2)\\ \cdots \\ g(x_1^T{x}_n)\end{array}\right]=\left[\begin{array}{c} \\ g(x_1^T{P}^0{x}_1)\\ g(x_1^T{P}^1{x}_1)\\ \cdots \\ g(x_1^T{P}^{n-1}{x}_1)\end{array}\right] \end{gathered}$$
所以
$$\begin{gathered} (k^{xx}{)}^T=g(C(x_1)x_1) \\ \Downarrow \\ \mathcal{F}((C(x_1)x_1))={\hat{x}}_1^{\ast }\odot {\hat{x}}_1\Rightarrow C(x_1)x_1={\mathcal{F}}^{-1}({\hat{x}}_1^{\ast }\odot {\hat{x}}_1) \\ \Downarrow \\ (k^{xx}{)}^T=g({\mathcal{F}}^{-1}({\hat{x}}_1^{\ast }\odot {\hat{x}}_1)) \end{gathered}$$
如果开始的时候，就把 $k^{xx}$ 定义成列向量，那么结果就是：$k^{xx}=g({\mathcal{F}}^{-1}({\hat{x}}_1^{\ast }\odot {\hat{x}}_1))$。不管怎么样定义，前后一致就好。另外一组变量 $k^{xz}$ 遵从同样的方法可以求得：$k^{xz}=g({\mathcal{F}}^{-1}({\hat{x}}_1^{\ast }\odot \hat{z}))$

到这里，关于分类器的表达式已经化简到了最优：
$$\begin{gathered} \hat{f}(Z)={\hat{k}}^{xz}\odot \frac{\hat{y}}{{\hat{k}}^{xx}+\lambda } \\ {k}^{xx}=g({\mathcal{F}}^{-1}({\hat{x}}_1^{\ast }\odot {\hat{x}}_1)) \end{gathered}$$
至此，算法已经全部推导完毕。从推导过程中，我们看出算法的分类思想还是基于SVM的，之后又利用了循环矩阵的性质使得结果运算量大为减少。

在做图像目标跟踪的时候，遇到的情况几乎是线性不可分的，因此我们采用第二部分推导的公式。公式中，$x_1$，$z$ 分别是我们作为模板的图像，和要进行目标跟踪的图像（推导过程中采用的是1维向量，但是图像是2维的，可以看做将其拉伸后变成1维进行处理）。根据公式，我们只需要提前标定好一张图像，就可以得到所要的结果。

跟踪的过程一般为，先给定一个模板图像 $x$ ，在其上进行标注，一般是目标中心点处，灰度值设为1，其与部分设成0，这个标注好的0-1图像就是 $y$，处理的时候可能会用到高斯函数。在用分类器对图像 $z$ 进行测试，得到的结果经过傅里叶逆变换后 $f(Z)$ ，也可以看成是一张图像，和标注图像类似，上面最亮的地方就是目标的中心位置。

最后，$g$ 函数，一般用的比较多的是高斯核，它最后的形式是：
$$k^{xz}=exp(-\frac{1}{{\sigma }^2}(||x|{|}^2+||z|{|}^2-2{\mathcal{F}}^{-1}({\hat{x}}^{\ast }\odot \hat{z})))$$

参考资料

1. 【目标跟踪】KCF高速跟踪详解

2. 机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法

3. 目标跟踪KCF学习笔记-公式推导

4. KCF（核化相關濾波）跟蹤公式推導筆記（2）——非線性濾波器的解、快速檢測及快速核相關

5. KCF跟踪算法原理 入门详解

6. 支持向量机通俗导论（理解SVM的三层境界）