SRDCF公式推导

1 标准DCF

• 滤波器$f$与样本$x$的输出响应可$$S_f(x)=\sum _{l=1}^d{x}^l\ast f^l\text{\hspace{1em}(1)}$$ 1.*表示循环卷积
  2. l ∈ { 1 , . . . , d } l \in \lbrace1,...,d\rbrace l∈{1,...,d}，$d$表示样本$x$的特征维数
  3.$x_k^l$表示样本$x_k$的第 $l$ 维特征
  4.每个样本每个特征通道$x^l$和每个通道对应的滤波器$f^l$大小均为为$M$x$N$
• $L^2$误差可表示为：$${\epsilon }_t(f)=\sum _{k=1}^t{\alpha }_k||S_f(x_k)-y_k|{|}^2+\lambda \sum _{l=1}^d||f^l|{|}^2\text{\hspace{1em}(2)}$$ 1.${\alpha }_k\ge 0$ 决定每个训练样本的影响(权重衰减因子，于学习率有类似作用)
  2.$\lambda \ge 0$ 是正则化项的权重
  3.训练样本表示为 { ( x k , y k ) } k = 1 t \lbrace(x_k,y_k)\rbrace_{k=1}^t {(xk​,yk​)}k=1t​，$t$表示历史样本数
• 快速检测表示为： (3) S f ( z ) = F − 1 { ∑ l = 1 d z ^ l ⋅ f ^ l } S_f(z)=\mathcal F^{-1}\lbrace\sum_{l=1}^d\widehat z^l \cdot {\widehat f^l}\rbrace \tag{3} Sf​(z)=F−1{l=1∑d​z l⋅f ​l}(3) 1.$z$表示目标区域提取的特征图
  2. f ^ l = F { f l } \widehat f^l=\mathcal F\lbrace {f^l}\rbrace f ​l=F{fl}表示滤波器的傅里叶变换

2 SRDCF

2.1 空间正则化

• 为抑制边界区域的影响，给滤波器加上一个相同大小$(M$x$N)$的正则项$w$，则式(2)可表示为：$${\epsilon }_t(f)=\sum _{k=1}^t{\alpha }_k||S_f(x_k)-y_k|{|}^2+\sum _{l=1}^d||w\cdot f^l|{|}^2\text{\hspace{1em}(4)}$$ 1.$w$ 为空间正则化项，离目标区域越远越大，表示处罚越大（如：倒置的高斯分布）
  2.当 $w(m,n)=\sqrt{\lambda }$ 时，则变为标准DCF
  3.$\hat{w}$ 具有稀疏特性（后面推导有用到这一性质）
  4.$w\cdot f^l$ 表明正则项 $w$ 和滤波器 $f$ 是进行点乘运算的

• 正则项 $w$ 可视化如下图所示
  

• 为加速计算，基于帕斯瓦尔定理，将$(4)$式转换到频率为：$${\epsilon }_t(\hat{f})=\sum _{k=1}^t{\alpha }_k||\sum _{l=1}^d{\hat{x}}_k^l\cdot {\hat{f}}^l-{\hat{y}}_k|{|}^2+\sum _{l=1}^d||\frac{\hat{w}}{MN}\ast {\hat{f}}^l|{|}^2\text{\hspace{1em}(5)}$$ 1.时域的点乘 $w\cdot f^l$ 转换到频率变为卷积 $\hat{w}\ast {\hat{f}}^l$
  2.$w\cdot f^l⟺\frac{\hat{w}}{MN}\ast {\hat{f}}^l$，$MN$ 相当于周期

• 为方便实际计算，将$(5)$式全部向量化为：$${\epsilon }_t(\hat{f})=\sum _{k=1}^t{\alpha }_k||\sum _{l=1}^d\mathcal{D}({\hat{\mathbf{x}}}_k^l){\hat{\mathbf{f}}}^l-{\hat{\mathbf{y}}}_k|{|}^2+\sum _{l=1}^d||\frac{\mathcal{C}(\hat{\mathbf{w}})}{MN}{\hat{\mathbf{f}}}^l|{|}^2\text{\hspace{1em}(6)}$$ 1. $\mathcal{D}(\mathbf{v})$ 表示对角线上元素为 $\mathbf{v}$ 的对角阵， 大小为 $MN\times MN$
  2.$\mathcal{C}(\hat{\mathbf{w}})$ 表示从 $\hat{\mathbf{w}}$ 得到的循环矩阵， $\hat{\mathbf{w}}$ 大小为$MN\times 1$，$\mathcal{C}(\hat{\mathbf{w}})$ 大小为 $MN\times MN$
  3.${\hat{\mathbf{f}}}^l$ 和 ${\hat{\mathbf{y}}}_k$ 的大小为 $MN\times 1$
  4.$\mathcal{C}(\hat{\mathbf{w}}){\hat{\mathbf{f}}}^l$ 是 $\hat{\mathbf{w}}\ast {\hat{\mathbf{f}}}^l$的向量化（通过循环操作可以去掉卷积符号，因为卷积的本质就是移位相乘相加）

• 为将所有变量转到实域来求解，作者构造了一个大小为$MN\times MN$ 的转换矩阵$B$（具体构造见论文中式$(7)$），如实数向量 ${\tilde{\mathbf{f}}}^l=B{\hat{\mathbf{f}}}^l$ ，对$(6)$式全部左乘 $B$ 可得：$$\begin{array}{rl}{\epsilon }_t(\hat{f})& =\sum _{k=1}^t{\alpha }_k||\sum _{l=1}^{d}B\mathcal{D}({\hat{\mathbf{x}}}_k^l){\hat{\mathbf{f}}}^l-B{\hat{\mathbf{y}}}_k|{|}^2+\sum _{l=1}^d||\frac{B\mathcal{C}(\hat{\mathbf{w}})}{MN}{\hat{\mathbf{f}}}^l|{|}^2\\ & =\sum _{k=1}^t{\alpha }_k||\sum _{l=1}^{d}B\mathcal{D}({\hat{\mathbf{x}}}_k^l)B^{H}B{\hat{\mathbf{f}}}^l-B{\hat{\mathbf{y}}}_k|{|}^2+\sum _{l=1}^d||\frac{B\mathcal{C}(\hat{\mathbf{w}})B^H}{MN}B{\hat{\mathbf{f}}}^l|{|}^2\\ & =\sum _{k=1}^t{\alpha }_k||\sum _{l=1}^d{D}_k^l{\tilde{\mathbf{f}}}^l-{\tilde{\mathbf{y}}}_k|{|}^2+\sum _{l=1}^d||C{\tilde{\mathbf{f}}}^l|{|}^2\end{array}\text{\hspace{1em}(7)}$$ 1.$B$ 是稀疏的酉矩阵，满足$B^{H}B=I$
  2.$B\mathcal{D}({\hat{\mathbf{x}}}_k^l)B^H⟺D_k^l$
  3.$B{\hat{\mathbf{f}}}^l⟺{\tilde{\mathbf{f}}}^l$
  4.$B{\hat{\mathbf{y}}}_k⟺{\tilde{\mathbf{y}}}_k$
  5.$\frac{B\mathcal{C}(\hat{\mathbf{w}})B^H}{MN}⟺C$

• 将 $(7)$ 式进一步简化可得：$${\epsilon }_t(\tilde{\mathbf{f}})=\sum _{k=1}^t{\alpha }_k||D_k\tilde{\mathbf{f}}-{\tilde{\mathbf{y}}}_k|{|}^2+||W\tilde{\mathbf{f}}|{|}^2\text{\hspace{1em}(8)}$$ 1.$D_k=(D_k^1\cdot \cdot \cdot D_k^d)$，大小为$MN\times dMN$
  2.$\tilde{\mathbf{f}}=(({\tilde{\mathbf{f}}}^1{)}^T\cdot \cdot \cdot ({\tilde{\mathbf{f}}}^d{)}^T{)}^T$，大小为 $dMN\times 1$
  3.$W$ 的大小为 $dMN\times dMN$ 对角块矩阵，每个对角块等于$C$

• $(8)$ 式与岭回归求解类似，求解得$A_t\tilde{\mathbf{f}}={\tilde{\mathbf{b}}}_t$（具体求解参考KCF算法推导中的岭回归求解）其中：$$\begin{array}{rl}& A_t=\sum _{k=1}^t{\alpha }_k{D}_k^T{D}_k+W^{T}W\\ & {\tilde{\mathbf{b}}}_t=\sum _{k=1}^t{\alpha }_k{D}_k^T{\tilde{\mathbf{y}}}_k\end{array}\text{\hspace{1em}(9)}$$

2.2 优化

• 由于正则化项 $W^{T}W$，破坏了标准DCF的对角块结构。直接对上式求解(需要求逆)非常耗时，作者利用$A_t$的稀疏性(较少的迭代次数内到达一个收敛值)等性质，采用Gauss-Seidel方法迭代求解得到$\tilde{\mathbf{f}}$。
• 参考Gauss–Seidel迭代，$A_t$ 可分解成下三角矩阵 $L_t$ 和严格上三角矩阵 $U_t$(不包括对角线)，即 $A_t=L_t+U_t$。则$A_t\tilde{\mathbf{f}}={\tilde{\mathbf{b}}}_t$可变形为：$$L_t\tilde{\mathbf{f}}={\tilde{\mathbf{b}}}_t-U_t\tilde{\mathbf{f}}\text{\hspace{1em}(10)}$$
• 迭代公式如下式：$$L_t{\tilde{\mathbf{f}}}^{(j)}={\tilde{\mathbf{b}}}_t-U_t{\tilde{\mathbf{f}}}^{(j-1)}\text{\hspace{1em}(11)}$$

2.3 训练

• $A_t$ 和 ${\tilde{\mathbf{b}}}_t$ 更新方式：$$\begin{array}{rl}& A_t=(1-\gamma )A_{t-1}+\gamma (D_t^T{D}_t+W^{T}W)\\ & {\tilde{\mathbf{b}}}_t=(1-\gamma ){\tilde{\mathbf{b}}}_{t-1}+\gamma D_t^T{\tilde{\mathbf{y}}}_t\end{array}\text{\hspace{1em}(12)}$$ 1.$\gamma \ge 0$ 表示学习率
  2.第1帧：$A_1=D_1^T{D}_1+W^{T}W$，${\tilde{\mathbf{b}}}_t=D_1^T{\tilde{\mathbf{y}}}_1$ 作为初始值
  3.正则化项 $W^{T}W$ 可在整个跟踪过程中预先计算好
  4.采用上式这种momentum更新方式由于不需要存储所有样本 $x_k$，可有效节省内存
  5.采用固定的迭代次数$N_{GS}$
  6.上述更新方式与指数衰减权重 ${\alpha }_k$ 效果类似
  7.第 $t$ 帧的初始值 ${\tilde{\mathbf{f}}}_t^{(0)}={\tilde{\mathbf{f}}}_{t-1}^{(N_{GS})}$
• 对于第1帧的初始值 ${\tilde{\mathbf{f}}}_1^{(0)}$ 通过求解$MN\times MN$线性方程得到：$$(\sum _{p=1}^d(D_1^P{)}^T{D}_1^P+d{C}^{T}C){\tilde{\mathbf{f}}}_1^{l,(0)}=(D_1^l{)}^T{\tilde{\mathbf{y}}}_1（l=1,...,d）\text{\hspace{1em}(13)}$$

2.4 检测—Fast Sub-grid Detection

• 用$(3)$式来粗略估计所有网格位置的得分 $s(m,n)$ ($m,n$并不是以像素为单位的，如一般HOG特征提取 cell=4 pixels)
• 将最大得分位置 $(u^{(0)},v^{(0)})$ 作为初始估计
• 连续位置$(u,v)$的得分$s(u,v)$按下式插值，用牛顿法进行迭代，使下式最小$$s(u,v)=\frac{1}{MN}\sum _{m=0}^{M-1}\sum _{n=0}^{N-1}\hat{s}(m,n)e^{i2\pi (\frac{m}{M}u+\frac{n}{N}v)}\text{\hspace{1em}(14)}$$ 1.$i$表示虚部
  2.连续位置$(u,v)\in [0,M)\times [0,N)$通过DFT系数的三角多项式插值得到(不太明白!!!)
• 每次迭代的梯度和Hessian通过分析$(14)$式的微分得到，发现只要几次迭代就可以收敛
• 对于每个尺度单独进行迭代，使用最大的检测得分来更新目标的位置和尺度

2.5 实验

• 正则项 $w$ 用二次函数来构造：$$w(m,n)=\mu +\eta (m/P{)}^2+\eta (n/Q{)}^2$$ 1.$P\times Q$ 表示目标尺寸
  2.$w$ 的最小值 $\mu =0.1$
  3.正则化影响因子 $\eta =3$
  4.实际上频域下的 $w$ 只有几个值有较大的幅值，如下图所示。为保证 $\hat{w}$ 的稀疏特性，设置阈值来移除较小的值，结果包含约10个非零值。
  
  5.HOG特征，cell大小为 $4\times 4$，特征大小为 $M\times N(M=N)$
  6.样本区域是目标区域的 $4^2$ 倍
  7.初始尺度的样本$M=50$
  8.学习率 $\gamma =0.025$，Gauss-Seidel迭代次数 $N_{GS}=4$
  9.在普通台式机matlab环境下5FPS