相关滤波KCF详细推导

1. 一维岭回归（脊回归）

设训练样本集$\left(x_i,y_i\right)$，其中，$x_i$为样本，$y_i$为样本标签，其回归表达式为$f\left(x_i\right)=w^T{x}_i$，列向量$w$是样本$x_i$的权重系数，可通过最小二乘法求解：
$$\underset{w}{\min }{\left[f\left(x_i\right)-y_i\right]}^2+\lambda \Vert w{\Vert }^2$$其中，$\lambda$是正则化参数，也称岭系数，防止发生过拟合。
将上式写成矩阵形式为：
$$g(w)={\Vert Xw-y\Vert }^2+\lambda \Vert w{\Vert }^2$$其中，样本矩阵$X={\left[x_1,x_2,\cdots ,x_n\right]}^T$的每一行$x_i^T$为一个样本，$y$为列向量，分量$y_i$为对应样本$x_i^T$的标签。$g(w)$和$g^{\prime }(w)$求解过程如下：
$$\begin{array}{rl}g(w)& =\Vert Xw-y{\Vert }^2+\lambda \Vert w{\Vert }^2\\ & =\left(w^T{X}^T-y^T\right)(Xw-y)+\lambda \Vert w{\Vert }^2\\ & =w^T{X}^{T}Xw-w^T{X}^{T}y-y^{T}Xw+y^{T}y+\lambda \Vert w{\Vert }^2\end{array}$$则：
$$\begin{array}{rl}{g}^{\prime }(w)& =\frac{\partial \left(w^T{X}^{T}Xw-w^T{X}^{T}y-y^{T}Xw+y^{T}y+\lambda \Vert w{\Vert }^2\right)}{\partial w}\\ & =X^{T}Xw+X^{T}Xw-X^{T}y-X^{T}y+2\lambda w\\ & =2\left(X^{T}Xw-X^{T}y+\lambda w\right)\end{array}$$令$g^{\prime }(w)=0$，可得：
$$w={\left(X^{T}X+\lambda I\right)}^{-1}{X}^{T}y$$由于后面将进行傅里叶矩阵变换，牵涉到复数矩阵，所以将上式扩展到复数域中的形式为：
$$w={\left(X^{H}X+\lambda I\right)}^{-1}{X}^{H}y$$其中，$X^H$表示复共轭转置矩阵。

2. 循环矩阵（循环位移）

KCF算法中所有的训练样本都是由目标样本循环移位得到的，向量的循环可由排列矩阵得到，如一维向量初始排列为：$\mathbf{x}={\left[x_1,x_2,\cdots ,x_n\right]}^T$，排列矩阵为：
$$P=\left[\begin{array}{ccccc}0& 0& \cdots & 0& 1\\ 1& 0& \cdots & 0& 0\\ 0& 1& \cdots & 0& 0\\ & & ⋮& & \\ 0& 0& \cdots & 1& 0\end{array}\right]$$它的一次循环移位为：
$$P\mathbf{x}={\left[x_n,x_1,x_2,\cdots ,x_{n-1}\right]}^T$$对于二维矩阵图像，可以看成是在两个维度方向分别对目标样本进行循环移位得到的。如二维图像初始排列为：
$$X=\left[\begin{array}{lll}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right]$$排列矩阵为：
$$P=\left[\begin{array}{lll}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right]，Q=[\begin{array}{}\end{array}$$