KCF算法公式推导

1 最小二乘法求解矩阵形式推导

• 设训练样本集为$(x_i,y_i)$，一元（向量）线性回归可表示为：$$f(x_i)=w^T\overrightarrow{x_i}+b$$
• 若把样本输入$\overrightarrow{x_i}$表示成矩阵形式（设有n个样本输入，每个输入有d个特性），有：$$\mathbf{X}=\left[\begin{array}{ccccc}{x}_{11}& x_{12}& ...& x_{1d}& 1\\ x_{21}& x_{22}& ...& x_{2d}& 1\\ ...& ...& ...& ...& ...\\ x_{n1}& x_{n2}& ...& x_{nd}& 1\end{array}\right]=\left[\begin{array}{ccc}{x}_1^T& & 1\\ x_2^T& & 1\\ ...& & ...\\ x_n^T& & 1\end{array}\right]$$其中1表示偏置$b$，$\tilde{w}=(\vec{w};b)$
• 则多元线性回归可表示为：$$\vec{y}=\mathbf{X}\tilde{w}$$其中$\vec{y}=(y_1,y_2,...,y_n)$表示样本标签
• 最小二乘法可表示为$${\underset{w}{\min }||\vec{y}-\mathbf{X}\tilde{w}|{|}_2}^2=\underset{w}{\min }(\vec{y}-\mathbf{X}\tilde{w}{)}^T(\vec{y}-\mathbf{X}\tilde{w})$$ $$\begin{array}{rl}{L}_w& =\frac{1}{2}(\vec{y}-\mathbf{X}\tilde{w}{)}^T(\vec{y}-\mathbf{X}\tilde{w})\\ & =\frac{1}{2}({\vec{y}}^T-{\tilde{w}}^T{\mathbf{X}}^T)(\vec{y}-\mathbf{X}\tilde{w})\\ & =\frac{1}{2}({\vec{y}}^T\vec{y}-{\vec{y}}^T\mathbf{X}\tilde{w}-{\tilde{w}}^T{\mathbf{X}}^T\vec{y}+{\tilde{w}}^T{\mathbf{X}}^T\mathbf{X}\tilde{w})\end{array}$$ $$\begin{array}{rl}\frac{\partial L_w}{\partial w}& =\frac{1}{2}[-({\vec{y}}^T\mathbf{X}{)}^T-{\mathbf{X}}^T\vec{y}+{\mathbf{X}}^T\mathbf{X}\tilde{w}+{\tilde{w}}^T{\mathbf{X}}^T\mathbf{X}{)}^T]\\ & =\frac{1}{2}(-2{\mathbf{X}}^T\vec{y}+2{\mathbf{X}}^T\mathbf{X}\tilde{w})\end{array}$$ 注：$\frac{\partial (\mathbf{X}\theta )}{\partial \theta }={\mathbf{X}}^T$，$\frac{\partial ({\theta }^T\mathbf{X})}{\partial {\theta }^T}={\mathbf{X}}^T$， $\frac{\partial ({\theta }^T\mathbf{X})}{\partial \theta }=\mathbf{X}$ 即：若上下向量一样，则结果为矩阵的转置，若互为转置，则结果为原矩阵
  $$\frac{\partial L_w}{\partial w}=0$$ $$\Rightarrow {\mathbf{X}}^T\vec{y}=2{\mathbf{X}}^T\mathbf{X}\tilde{w}$$ $$\Rightarrow \tilde{w}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\vec{y}$$

2 岭回归求解公式

• 当数据特征较样本数多时，即样本数不足（d>n：未知数个数大于方程个数），输入数据不是满秩矩阵，这将导致非满秩矩阵${\mathbf{X}}^T\mathbf{X}$在求逆时会发生问题。岭回归是在${\mathbf{X}}^T\mathbf{X}$上加一个正则项$\lambda \mathbf{I}$从而使矩阵非奇异，进而能对${\mathbf{X}}^T\mathbf{X}+\lambda \mathbf{I}$求逆，即：$$\Rightarrow \tilde{w}=({\mathbf{X}}^T\mathbf{X}+\lambda \mathbf{I}{)}^{-1}{\mathbf{X}}^T\vec{y}$$ $\lambda$是正则化系数，可提供分类器泛化性，防止过拟合。当$\lambda$较小时，系数与普通矩阵一样，而较大时，使得求解的参数都接近于0
  注：岭回归的最小二乘法可表示为：$${\underset{w}{\min }(||\vec{y}-\mathbf{X}\tilde{w}|{|}_2}^2+{\lambda ||\tilde{w}|{|}_2}^2)$$
• 由于KCF算法是在傅里叶域内计算，牵涉到复数矩阵，所以我们将结果都统一写成复数域中形式$$\Rightarrow \tilde{w}=({\mathbf{X}}^H\mathbf{X}+\lambda \mathbf{I}{)}^{-1}{\mathbf{X}}^H\vec{y}\text{\hspace{1em}(1)}$$
  其中$\mathbf{X}$表示由基样本生成的循环矩阵，${\mathbf{X}}^H$表示其复数的共轭转置

3 循环矩阵在傅氏空间对角化

• 循环矩阵公式表达及直观表示$$\mathbf{X}=\mathbf{C}(\vec{x})=\left[\begin{array}{cccccc}{x}_1& x_2& x_3& ...& x_n& \\ x_n& x_1& x_2& ...& x_{n-1}& \\ x_{n-1}& x_n& x_1& ...& x_{n-2}& \\ ...& ...& ...& ...& ...& \\ x_2& x_3& x_4& ...& x_1& \end{array}\right]$$
  
• 任何循环矩阵可以被傅里叶变换矩阵对角化，即$$\mathbf{X}=\mathbf{C}(x)=\mathbf{F}diag(\hat{x}){\mathbf{F}}^H\text{\hspace{1em}(2)}$$ 其中$\hat{x}由\mathbf{X}$的第1行元素(即基样本)经傅里叶变换后得到，$\mathbf{F}$是离散傅里叶变换矩阵，是一个常量$$\mathbf{F}=\frac{1}{\sqrt{n}}\left[\begin{array}{ccccc}1& 1& ...& 1& 1\\ 1& \omega & ...& {\omega }^{n-2}& {\omega }^{n-1}\\ 1& {\omega }^2& ...& {\omega }^{2(n-2)}& {\omega }^{2(n-1)}\\ ...& ...& ...& ...& ...\\ 1& {\omega }^{n-1}& ...& {\omega }^{(n-1)(n-2)}& {\omega }^{(n-1{)}^2}\end{array}\right]$$
• 要计算$(1)$式，先求${\mathbf{X}}^H\mathbf{X}$ ,将$(2)$式代可得 $$\begin{array}{rl}{\mathbf{X}}^H\mathbf{X}& =(\mathbf{F}diag(\hat{x}){\mathbf{F}}^H{)}^H\mathbf{F}diag(\hat{x}){\mathbf{F}}^H\\ & =({\mathbf{F}}^H{)}^{H}diag(\hat{x}{)}^H{\mathbf{F}}^H\mathbf{F}diag(\hat{x}){\mathbf{F}}^H\\ & =\mathbf{F}diag({\hat{x}}^{\ast }){\mathbf{F}}^H\mathbf{F}diag(\hat{x}){\mathbf{F}}^H\\ & =\mathbf{F}diag({\hat{x}}^{\ast }\odot \hat{x}){\mathbf{F}}^H\end{array}\text{\hspace{1em}(3)}$$ 1.其中${\hat{x}}^{\ast }$与$\hat{x}$是共轭关系
  2.$\hat{x}$表示$\vec{x}$的离散傅里叶变换，即$\hat{x}=\mathcal{F}(\vec{x})=\sqrt{n}\mathbf{F}x$
  3.$(\mathbf{A}\mathbf{B}\mathbf{C}{)}^H={\mathbf{C}}^H{\mathbf{B}}^H{\mathbf{A}}^H$
  4.${\mathbf{F}}^H\mathbf{F}=\mathbf{F}{\mathbf{F}}^H=\mathbf{I}$
  5.$diag\left\{(\hat{x}{)}^H\right\}=diag\left\{({\hat{x}}^{\ast }{)}^T\right\}=diag({\hat{x}}^{\ast })$----对角矩阵的转置不变
  6.$diag(\mathbf{A})diag(\mathbf{B})=diag(\mathbf{A}\odot \mathbf{B})$----符号$\odot$表示矩阵element-wise的乘法
• 将$(3)$代入$(1)$得：$$\begin{array}{rl}\tilde{w}& =({\mathbf{X}}^H\mathbf{X}+\lambda \mathbf{I}{)}^{-1}{\mathbf{X}}^H\vec{y}\\ & =(\mathbf{F}diag({\hat{x}}^{\ast }\odot \hat{x}){\mathbf{F}}^H+\lambda \mathbf{F}\mathbf{I}{\mathbf{F}}^H{)}^{-1}{\mathbf{X}}^H\vec{y}\\ & =(\mathbf{F}diag({\hat{x}}^{\ast }\odot \hat{x}){\mathbf{F}}^H+\mathbf{F}diag(\lambda ){\mathbf{F}}^H{)}^{-1}{\mathbf{X}}^H\vec{y}\\ & =(\mathbf{F}diag({\hat{x}}^{\ast }\odot \hat{x}+\lambda ){\mathbf{F}}^H{)}^{-1}{\mathbf{X}}^H\vec{y}\\ & =[({\mathbf{F}}^H{)}^{-1}diag({\hat{x}}^{\ast }\odot \hat{x}+\lambda {)}^{-1}{\mathbf{F}}^{-1}]{\mathbf{X}}^H\vec{y}\\ & =[\mathbf{F}diag(\frac{1}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda }){\mathbf{F}}^{-1}]{\mathbf{X}}^H\vec{y}\end{array}\text{\hspace{1em}(4)}$$ 1.$\lambda \mathbf{I}=\lambda \mathbf{F}{\mathbf{F}}^H=\lambda \mathbf{F}\mathbf{I}{\mathbf{F}}^H$
  2.$\mathbf{A}\mathbf{B}\mathbf{C}+\mathbf{A}\mathbf{D}\mathbf{C}=\mathbf{A}(\mathbf{B}+\mathbf{D})\mathbf{C}$
  3.$\mathbf{F}{\mathbf{F}}^H=\mathbf{I}\Rightarrow {\mathbf{F}}^H={\mathbf{F}}^{-1}$
  4.$\mathbf{F}{\mathbf{F}}^H=\mathbf{I}\Rightarrow \mathbf{F}=({\mathbf{F}}^H{)}^{-1}$
  5.$diag({\lambda }_i{)}^{-1}=diag(\frac{1}{{\lambda }_i})$
• 将$(2)$式代入$(4)$式得：$$\begin{array}{rl}\tilde{w}& =[\mathbf{F}diag(\frac{1}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda }){\mathbf{F}}^{-1}][\mathbf{F}diag(\hat{x}){\mathbf{F}}^H{]}^H\vec{y}\\ & =[\mathbf{F}diag(\frac{1}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda }){\mathbf{F}}^{-1}][({\mathbf{F}}^H{)}^{H}diag(\hat{x}{)}^H{\mathbf{F}}^H]\vec{y}\\ & =\mathbf{F}diag(\frac{1}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda }){\mathbf{F}}^{-1}\mathbf{F}diag(\hat{x}{)}^H{\mathbf{F}}^H\vec{y}\\ & =\mathbf{F}diag(\frac{1}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda })\mathbf{I}diag(\hat{x}{)}^H{\mathbf{F}}^H\vec{y}\\ & =\mathbf{F}diag(\frac{1}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda })diag(\hat{x}{)}^H{\mathbf{F}}^H\vec{y}\\ & =\mathbf{F}diag(\frac{{\hat{x}}^H}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda }){\mathbf{F}}^H\vec{y}\\ & =\mathbf{F}diag(\frac{{\hat{x}}^{\ast }}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda }){\mathbf{F}}^H\vec{y}\end{array}\text{\hspace{1em}(5)}$$
• 继续推导 $$\hat{x}=\mathcal{F}(x)\Rightarrow x={\mathcal{F}}^{-1}(\hat{x})({\mathcal{F}}^{-1}表示傅里叶逆变换)$$ $$\begin{array}{rl}\mathbf{X}=\mathbf{C}(\vec{x})& =\mathbf{C}({\mathcal{F}}^{-1}(\hat{x}))\\ & =\mathbf{F}diag(\hat{x}){\mathbf{F}}^H\end{array}\text{\hspace{1em}(6)}$$
• 结合$(5)$式和$(6)$式得：$$\tilde{w}=\mathbf{C}[{\mathcal{F}}^{-1}(\frac{{\hat{x}}^{\ast }}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda })]\vec{y}\text{\hspace{1em}(7)}$$
• 利用循环卷积性质：$$\begin{array}{rl}\mathcal{F}(\mathbf{X}\vec{y})& =\mathcal{F}[\mathbf{C}(\vec{x})\vec{y}]\\ & ={\hat{x}}^{\ast }\odot \hat{y}\\ & ={\mathcal{F}}^{\ast }(\vec{x})\odot \mathcal{F}(\vec{y})\end{array}\text{\hspace{1em}(8)}$$
• 结合$(7)$式和$(8)$式得：$$\begin{array}{rl}\mathcal{F}(\tilde{w})& =\mathcal{F}(\mathbf{C}[{\mathcal{F}}^{-1}(\frac{{\hat{x}}^{\ast }}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda })]\vec{y})\\ & ={\mathcal{F}}^{\ast }[{\mathcal{F}}^{-1}(\frac{{\hat{x}}^{\ast }}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda })]\mathcal{F}(\vec{y})\\ & =(\frac{{\hat{x}}^{\ast }}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda }{)}^{\ast }\odot \hat{y}\\ & =\frac{({\hat{x}}^{\ast }{)}^{\ast }}{({\hat{x}}^{\ast }\odot \hat{x}+\lambda {)}^{\ast }}\odot \hat{y}\\ & =\frac{\hat{x}\odot \hat{y}}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda }\end{array}$$ $$\Rightarrow \mathcal{F}(\tilde{w})=\hat{w}=\frac{\hat{x}\odot \hat{y}}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda }\text{\hspace{1em}(9)}$$ 1.$\hat{w}$表示$\tilde{w}$的傅里叶变换，$\tilde{w}$表示$(\vec{w};b)$即实域空间的分类器参数
  2.由于${\hat{x}}^{\ast }$是$\hat{x}$的共轭，所以${\hat{x}}^{\ast }\odot \hat{x}$是实数，其共轭为本身
  3.$\odot$表示对应元素相乘，——表示对应元素相除
• 由上述推导可得分类器参数$\tilde{w}$：$$\tilde{w}={\mathcal{F}}^{-1}(\hat{w})={\mathcal{F}}^{-1}(\frac{\hat{x}\odot \hat{y}}{{\hat{x}}^{\ast }\odot \hat{x}+\lambda })\text{\hspace{1em}(10)}$$ 1.$\hat{x}，\hat{y}$分别表示基样本、标签的傅里叶变换
  2.将矩阵运算在傅里叶域转化为点积运算，成其是矩阵求逆运算，大大提高了计算速度
  3.上式为线性回归下利用循环矩阵其滤波器的计算公式

4. 非线性回归滤波器求解

• 求解方式：找到一个非线性映射函数$\phi (x)$，使映射后的样本在新空间中线性可分，那么在新空间中就可以使用脊回归来寻找一个分类器$f({\mathbf{x}}_i)={\mathbf{w}}^T\phi ({\mathbf{x}}_i)$，其中$\phi ({\mathbf{x}}_{\mathbf{i}})$表示对样本${\mathbf{x}}_i$通过非线性映射函数$\phi$进行变换。
• 将线性滤波器的解 $\mathbf{w}$ 用样本的线性组合来表示：$$\mathbf{w}=\sum _i{\alpha }_i\phi ({\mathbf{x}}_i)$$ 则最优化问题不再是求变量 $w$，而是 $\alpha$。该表达式是在对偶空间中进行的，具体参考SVM相关理论。
• 线性条件下的回归问题，经过非线性变换后为：$$\begin{array}{rl}f(z)& ={\mathbf{w}}^T\mathbf{z}\\ & =(\sum _i^n{\alpha }_i\phi ({\mathbf{x}}_i){)}^T.\phi (\mathbf{z})\\ & =\sum _i^n{\alpha }_i{\phi }^T({\mathbf{x}}_i)\phi (\mathbf{z})\\ & =\sum _i^n{\alpha }_i\mathcal{K}({\mathbf{x}}_i,\mathbf{z})\end{array}$$ 1.$\mathcal{K}(\mathbf{x},{\mathbf{x}}^{\prime })={\phi }^T(\mathbf{x})\phi ({\mathbf{x}}^{\prime })$，$\mathcal{K}$表示核函数，如高斯或多项式
  2.$K_{ij}=\mathcal{K}({\mathbf{x}}_i,{\mathbf{x}}_j)$，$K$为$n\times n$的核矩阵，表示所有样本对的点乘操作
  3.$n$表示训练样本个数
• 核函数下岭回归的解为：$$\mathbf{\alpha }=(K+\lambda I{)}^{-1}\mathbf{y}\text{\hspace{1em}(11)}$$ 1.$\mathbf{\alpha }$为线性组合系数${\alpha }_i$组成的向量
  2.$K$为核矩阵，其各个元素$K_{i,j}$如前所述
  3.$\lambda$为正则化系数
  4.推导过程参考Kernel ridge Regression
• 定理 1. 给定循环数据$C(\mathbf{x})$，对于任意的变换矩阵$M$，如果核函数$\mathcal{K}$满足$\mathcal{K}(\mathbf{x},{\mathbf{x}}^{\prime })=\mathcal{K}(M\mathbf{x},M{\mathbf{x}}^{\prime })$，则核矩阵$K$是循环矩阵，证明如下：$$\begin{array}{rl}{K}_{ij}& =\mathcal{K}(\mathbf{x},{\mathbf{x}}^{\prime })\\ & =\mathcal{K}(P^i\mathbf{x}，P^j\mathbf{x})\end{array}$$ $$\begin{array}{rl}\mathcal{K}(M\mathbf{x},M{\mathbf{x}}^{\prime })& =\mathcal{K}(P^{-i}{P}^i\mathbf{x},P^{-i}{P}^j\mathbf{x})\\ & =\mathcal{K}(\mathbf{x},P^{j-i}\mathbf{x})\\ & =\mathcal{K}(\mathbf{x},P^{(j-i)\%n}\mathbf{x})=K_{ij}\end{array}$$ 1.由上式可看出，$K_{i,j}$只依赖于$(j-i)$和$n$，所以$K$为循环矩阵
  2.$P$为置换矩阵，如：$$P=\left[\begin{array}{ccccc}0& 0& 0& ...& 1\\ 1& 0& 0& ...& 0\\ 0& 1& 0& ...& 0\\ ...& ...& ...& ...& ...\\ 0& 0& 1& ...& 0\end{array}\right]$$ ${\mathbf{x}}_1=P^0\mathbf{x}=\mathbf{x}=[x_1,x_2,...,x_n{]}^T$
  ${\mathbf{x}}_2=P^1\mathbf{x}=[x_n,x_1,...,x_{n-1}{]}^T$
  …
  ${\mathbf{x}}_n=P^{n-1}\mathbf{x}=[x_2,x_3,...,x_1{]}^T$
• 由$K$为循环矩阵，利用对角化性质，核滤波器表达式$(11)$变换如下：$$\begin{array}{rl}\mathbf{\alpha }& =[C({\mathbf{k}}^{\mathbf{x}\mathbf{x}})+\lambda I{]}^{-1}\mathbf{y}\\ & =[Fdiag({\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}})F^H+\lambda I{]}^{-1}\mathbf{y}\\ & =[Fdiag({\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}})F^H+\lambda FI{F}^H{]}^{-1}\mathbf{y}\\ & =[Fdiag({\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}})F^H+Fdiag(\lambda )F^H{]}^{-1}\mathbf{y}\\ & =[Fdiag({\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}}+\lambda )F^H{]}^{-1}\mathbf{y}\\ & =(F^H{)}^{-1}(diag({\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}}+\lambda {)}^{-1})F^{-1}\mathbf{y}\\ & =Fdiag({{\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}}+\lambda )}^{-1}{F}^H\mathbf{y}\end{array}\text{\hspace{1em}(12)}$$ 1.$K=C({\mathbf{k}}^{\mathbf{x}\mathbf{x}})$，${\mathbf{k}}^{\mathbf{x}\mathbf{x}}$为矩阵$K$的第一行
  2.由$F{F}^H=I$ $\Rightarrow$ $F^H=F^{-1}$
• 对$(12)$两边同时左乘$F^H$得$$\begin{array}{rl}{F}^H\mathbf{\alpha }& =F^{H}Fdiag({{\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}}+\lambda )}^{-1}{F}^H\mathbf{y}\\ & =diag({{\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}}+\lambda )}^{-1}{F}^H\mathbf{y}\end{array}$$ $F^H\mathbf{\alpha }$表示$\mathbf{\alpha }$经傅里叶变换后的共轭转置，则$F^H\mathbf{\alpha }=[{\hat{\mathbf{\alpha }}}^{\ast }{]}^T$，则上式可转换为：$$\begin{array}{rl}[{\hat{\mathbf{\alpha }}}^{\ast }{]}^T& =diag({{\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}}+\lambda )}^{-1}{F}^H\mathbf{y}\\ & =diag(\frac{1}{{\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}}+\lambda })[{\hat{\mathbf{y}}}^{\ast }{]}^T\\ & =[diag(\frac{1}{{\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}}+\lambda }){\hat{\mathbf{y}}}^{\ast }{]}^T\end{array}$$ $$\Rightarrow {\hat{\mathbf{\alpha }}}^{\ast }=diag(\frac{1}{{\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}}+\lambda }){\hat{\mathbf{y}}}^{\ast }$$ 1.$diag(\lambda {)}^{-1}=diag(\frac{1}{\lambda })$
  2.$F^H\mathbf{y}={\hat{\mathbf{y}}}^{\ast }$
  由于一个对角矩阵与一个向量相乘，相当于元素级乘法，因此：$${\hat{\mathbf{\alpha }}}^{\ast }=\frac{{\hat{\mathbf{y}}}^{\ast }}{{\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}}+\lambda }$$ 等式两边同时取共轭，得：$$\hat{\mathbf{\alpha }}=\frac{\hat{\mathbf{y}}}{{\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}}+\lambda }\text{\hspace{1em}(13)}$$ 更一般地，矩阵$K$中每一行$$K_i^{\mathbf{x}{\mathbf{x}}^{\prime }}=\mathcal{K}({\mathbf{x}}^{\prime }，P^{i-1}\mathbf{x})$$ 1.$i$为第$K$的第$i$行，即在基样本上进行$i-1$次循环移位
  2.$x$表示基样本，即$K$的第一行
  3.${\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}}$表示$x$在傅里叶域进行自相关

5 快速检测

• 由式$(11)$可得：$$f(\mathbf{z})=K\mathbf{\alpha }\text{\hspace{1em}(14)}$$ 1.正则化仅用来求解$\mathbf{\alpha }$，在回归时不需要正则项
  2.$\mathbf{z}$表示待检测的图像块
• 在实用场景下，$(14)$可表示为：$$f(\mathbf{z})=(K^{\mathbf{z}}{)}^T\mathbf{\alpha }\text{\hspace{1em}(15)}$$ 1. $\mathbf{\alpha }$为训练好的分类器参数
  2.$K^{\mathbf{z}}=C({\mathbf{k}}^{\mathbf{x}\mathbf{z}})=\mathcal{K}(P^{i-1}\mathbf{z},P^{j-1}\mathbf{x})$，表示训练样本和待检测样本之间的核矩阵，是一个非对称矩阵
  3.$\mathbf{x}$表示待训练基样本，$\mathbf{z}$表示待检测基样本
• 继续$(15)$式推导$$\begin{array}{rl}f(\mathbf{z})& =[C({\mathbf{k}}^{\mathbf{x}\mathbf{z}}){]}^T\mathbf{\alpha }\\ & =Fdiag(({\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{z}}{)}^{\ast })F^H\mathbf{\alpha }\\ & =C(({\mathbf{k}}^{\mathbf{x}\mathbf{z}}{)}^{\ast })\mathbf{\alpha }\end{array}\text{\hspace{1em}(16)}$$ 注：上述推导利用了循环矩阵的转置性质，即转置后的特征值与原特征值互为共轭，用公式表达为： $$X^T=Fdiag((\hat{\mathbf{x}}{)}^{\ast })F^H$$ 其中矩阵$diag((\hat{\mathbf{x}}{)}^{\ast })$对角线上的值为矩阵$X^T$的特征值
• 对$(16)$式两边同时进行傅里叶变换，得：$$\mathcal{F}(f(\mathbf{z}))=\mathcal{F}(C(({\mathbf{k}}^{\mathbf{x}\mathbf{z}}{)}^{\ast })\mathbf{\alpha })$$ 利用循环卷积性质（如式$(8)$所示），得：$$\begin{array}{rl}\mathcal{F}(f(\mathbf{z}))& ={\mathcal{F}}^{\ast }(({\mathbf{k}}^{\mathbf{x}\mathbf{z}}{)}^{\ast })\odot \mathcal{F}(\mathbf{\alpha })\\ & =\mathcal{F}({\mathbf{k}}^{\mathbf{x}\mathbf{z}})\odot \mathcal{F}(\mathbf{\alpha })\end{array}$$ 即：$$\hat{f}(\mathbf{z})={\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{z}}\odot \hat{\mathbf{\alpha }}\text{\hspace{1em}(17)}$$ 1.${\mathbf{k}}^{\mathbf{x}\mathbf{z}}$为核矩阵$K$的第一行
  2.${\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{z}}$为训练样本$x$与待测样本$z$在傅里叶域的核相关

6 快速核相关

6.1 点积与多项式核

• 对于某种点积核函数$g$，其核函数可表示为：$$\mathcal{K}(\mathbf{x},{\mathbf{x}}^{\prime })=g({\mathbf{x}}^T{\mathbf{x}}^{\prime })$$ 注：$g$表示输入向量间的元素级操作 $$k_i^{\mathbf{x}{\mathbf{x}}^{\prime }}=\mathcal{K}({\mathbf{x}}^{\prime },P^{i-1}\mathbf{x})=g({{\mathbf{x}}^{\prime }}^T{P}^{i-1}\mathbf{x})$$ $$k^{\mathbf{x}{\mathbf{x}}^{\prime }}=g(C(\mathbf{x}){\mathbf{x}}^{\prime })(证明略)$$ 由循环矩阵性质可知：$$\mathcal{F}(C(\mathbf{x}){\mathbf{x}}^{\prime })={\hat{\mathbf{x}}}^{\ast }\odot {\mathbf{x}}^{\prime }$$
  $$\Rightarrow C(\mathbf{x}){\mathbf{x}}^{\prime }={\mathcal{F}}^{-1}({\hat{\mathbf{x}}}^{\ast }\odot {\hat{\mathbf{x}}}^{\prime })$$ $$\Rightarrow k^{\mathbf{x}{\mathbf{x}}^{\prime }}=g({\mathcal{F}}^{-1}({\hat{\mathbf{x}}}^{\ast }\odot {\hat{\mathbf{x}}}^{\prime }))$$
• 特殊地，对于多项式核 $\mathcal{K}(\mathbf{x},{\mathbf{x}}^{\prime })=({\mathbf{x}}^T{\mathbf{x}}^{\prime }+a{)}^b$ $$\Rightarrow k^{\mathbf{x}{\mathbf{x}}^{\prime }}=({\mathcal{F}}^{-1}({\hat{\mathbf{x}}}^{\ast }\odot {\hat{\mathbf{x}}}^{\prime })+a{)}^b\text{\hspace{1em}(18)}$$

6.2 径向基函数与高斯核

• 对于某种径向基函数$h$，其核函数可表示为：$$\mathcal{K}(\mathbf{x},{\mathbf{x}}^{\prime })=h(||\mathbf{x}-{\mathbf{x}}^{\prime }|{|}^2)$$ $$\begin{array}{rl}{k}_i^{\mathbf{x}{\mathbf{x}}^{\prime }}=\mathcal{K}({\mathbf{x}}^{\prime },P^{i-1}\mathbf{x})& =h(||{\mathbf{x}}^{\prime }-P^{i-1}\mathbf{x}|{|}^2)\\ & =h(||{\mathbf{x}}^{\prime }|{|}^2+||P^{i-1}\mathbf{x}|{|}^2-2{\mathbf{x}}^{\prime T}{P}^{i-1}\mathbf{x})\\ & =h(||{\mathbf{x}}^{\prime }|{|}^2+||\mathbf{x}|{|}^2-2{\mathbf{x}}^{\prime T}{P}^{i-1}\mathbf{x})\\ & =h(||{\mathbf{x}}^{\prime }|{|}^2+||\mathbf{x}|{|}^2-2{\mathcal{F}}^{-1}({\hat{\mathbf{x}}}^{\ast }\odot {\hat{\mathbf{x}}}^{\prime }))\end{array}$$ 注：上式转换中去除了转换矩阵$P^{i-1}$，因为矩阵的循环移位不影响其范数
• 特殊地，对于高斯核$\mathcal{K}(\mathbf{x},{\mathbf{x}}^{\prime })=exp(-\frac{1}{{\sigma }^2}||\mathbf{x}-{\mathbf{x}}^{\prime }|{|}^2)$ $$\Rightarrow k^{\mathbf{x}{\mathbf{x}}^{\prime }}=exp(-\frac{1}{{\sigma }^2}(||{\mathbf{x}}^{\prime }|{|}^2+||\mathbf{x}|{|}^2-2{\mathcal{F}}^{-1}({\hat{\mathbf{x}}}^{\ast }\odot {\hat{\mathbf{x}}}^{\prime })))\text{\hspace{1em}(19)}$$

7 伪代码

//训练分类器alphaf
function alphaf = train(x, y, sigma, lambda)
	k = kernel_correlation(x, x, sigma);
	alphaf = fft2(y) ./ (fft2(k) + lambda);
end
//计算响应f(z)
function responses = detect(alphaf, x, z, sigma)
	k = kernel_correlation(z, x, sigma);
	responses = real(ifft2(alphaf .* fft2(k)));
end
//计算核相关矩阵
function k = kernel_correlation(x1, x2, sigma)
	c = ifft2(sum(conj(fft2(x1)) .* fft2(x2), 3));
	d = x1(:)’*x1(:) + x2(:)’*x2(:) - 2 * c;
	k = exp(-1 / sigma^2 * abs(d) / numel(d));
end