【论文精读系列】之《Learning Background-Aware Correlation Filters for Visual Tracking》其三

论文地址：《Learning Background-Aware Correlation Filters for Visual Tracking》

注：该篇博客中，为了明确矩阵或者向量的形状，常出现诸如 $(\mathbf{A}{)}_{m,n}$ 或者 $(\mathbf{b}{)}_{n,1}$ 的表示，则表明 $\mathbf{A}$ 是一个 $m$ 行 $n$ 列的矩阵，而 $\mathbf{b}$ 则是 $n$ 行 1 列的列向量。

4 Background-Aware Correlation Filters（背景感知相关滤波器）

首先要对先前博客的内容做一个更正：
在上一篇博客中指出，$\mathbf{x}$ 表示拥有 $D$ 个像素的单帧图像，这是为了便于后续的说明，事实上，$\mathbf{x}$ 真正表示的是单帧图像中拥有 $D$ 个像素的一个图像块（块中包含目标）。

上图整个是一帧图像，$\mathbf{x}$ 表示图中蓝色框内的图像块，它包含了目标（bird），且一共有 $D$ 个像素（多通道的话每个特征通道都有 $D$ 个像素）。
如先前博客所述，我们需要更多的来自背景的真实样本，因此论文扩大了选取的图像块的大小。
现在 $\mathbf{x}$ 表示图中绿色框内的图像块，它包含了目标（bird），且一共有 $T$ 个像素（多通道的话每个特征通道都有 $T$ 个像素）。
那么现在有了绿色框内图像块，我们还想把先前小范围精确包含目标（bird）的蓝色框内的图像块提取出来，怎么操作？
论文提出一个裁剪矩阵 $(\mathbf{P}{)}_{D,T}$，其中元素不是 0 就是 1 ，它可以完成这个任务。
补充说明3（开始）：
不妨举一个例子（单通道），绿色框内图像块记为 $Imag{e}_{green}$，其为
$$Imag{e}_{green}=\left[\begin{array}{cccc}255& 255& 255& 255\\ 255& 255& 255& 255\\ 255& 255& 0& 255\\ 255& 255& 255& 255\end{array}\right]$$ 其中灰度值为 0 的像素为目标（目标就一个像素），示意图如下图

蓝色框内的图像块记为 $Imag{e}_{blue}$，其为
$$Imag{e}_{blue}=\left[\begin{array}{cc}255& 255\\ 255& 0\end{array}\right]$$ 向量化之后分别有
$${\mathbf{x}}_{blue}=\left[\begin{array}{c}255\\ 255\\ 255\\ 0\end{array}\right]=\left[\begin{array}{cccccccccccccccc}0& 0& 0& 0& 0& 1& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 1& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 1& 0& 0& 0& 0& 0\end{array}\right]\left[\begin{array}{c}255\\ 255\\ 255\\ 255\\ 255\\ 255\\ 255\\ 255\\ 255\\ 255\\ 0\\ 255\\ 255\\ 255\\ 255\\ 255\end{array}\right]=\mathbf{P}{\mathbf{x}}_{green}$$ 补充说明3（结束）

有了上述的说明，便可以引出论文核心的公式，公式（3）如下：
$$E(\mathbf{h})=\frac{1}{2}\sum _{j=1}^T\Vert y(j)-\sum _{k=1}^K{\mathbf{h}}_k^T\mathbf{P}{\mathbf{x}}_k[\Delta {\mathbf{\tau }}_j]{\Vert }_2^2+\frac{\lambda }{2}\sum _{k=1}^K\Vert {\mathbf{h}}_k{\Vert }_2^2\text{\hspace{1em}(3)}$$ 相比公式（2），仅仅是每一特征通道的图像块 ${\mathbf{x}}_k$ 变为了 $T$ 行 1 列，并使用裁剪矩阵 $(\mathbf{P}{)}_{D,T}$ 进行裁剪。对裁剪后的$(\mathbf{P}{\mathbf{x}}_k[\Delta {\mathbf{\tau }}_j]{)}_{D,1}$ 进行滤波，同样需要滤波器 $(\mathbf{h}{)}_{D,1}$ ，可以看出滤波器的尺寸没有变化，因而需要学习的参数没有增多。
需要指明的是：实际操作时，$T\gg D$，一般在 4 倍左右。

为了提高计算效率，相关滤波器通常在频域中学习。下面将公式（3）进行频域表达，即对其进行离散傅里叶变换（DFT）。

补充说明4（开始）：
任一离散数字信号序列 $(\mathbf{a}{)}_{N,1}$ ，其离散傅里叶变换结果为 $(\hat{\mathbf{a}}{)}_{N,1}$ ，有：
$$(\hat{\mathbf{a}}{)}_{N,1}=\sqrt{N}(\mathbf{F}{)}_{N,N}(\mathbf{a}{)}_{N,1}$$ 其中矩阵 $\mathbf{F}$ 如下
$$\mathbf{F}=\frac{1}{N}{\left[\begin{array}{ccccc}1& 1& 1& \cdots & 1\\ 1& W_N^1& W_N^2& \cdots & W_N^{N-1}\\ 1& W_N^2& W_N^4& \cdots & W_N^{2(N-1)}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& W_N^{N-1}& W_N^{2(N-1)}& \cdots & W_N^{(N-1)(N-1)}\end{array}\right]}_{N,N}$$ 可以看出 $\sqrt{N}\mathbf{F}$ 是复数基向量的正交矩阵（即酉矩阵），用于将任何 $N$ 维矢量化信号映射到傅立叶域。为了便于理解，仍需做四点说明：
① 上述矩阵 $\mathbf{F}$ 对应的傅里叶逆变换矩阵如下
$${\mathbf{F}}^{-1}={\left[\begin{array}{ccccc}1& 1& 1& \cdots & 1\\ 1& W_N^{-1}& W_N^{-2}& \cdots & W_N^{-(N-1)}\\ 1& W_N^{-2}& W_N^{-4}& \cdots & W_N^{-2(N-1)}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& W_N^{-(N-1)}& W_N^{-2(N-1)}& \cdots & W_N^{-(N-1)(N-1)}\end{array}\right]}_{N,N}$$ 且有 $(\sqrt{N}\mathbf{F}{)}^{-1}(\sqrt{N}\mathbf{F})=(\sqrt{N}\mathbf{F})(\sqrt{N}\mathbf{F}{)}^{-1}=\mathbf{I}$
② 在很多地方可以看见 $\mathbf{F}$ 也有别的定义方式，如
$$\mathbf{F}=\frac{1}{\sqrt{N}}{\left[\begin{array}{ccccc}1& 1& 1& \cdots & 1\\ 1& W_N^1& W_N^2& \cdots & W_N^{N-1}\\ 1& W_N^2& W_N^4& \cdots & W_N^{2(N-1)}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& W_N^{N-1}& W_N^{2(N-1)}& \cdots & W_N^{(N-1)(N-1)}\end{array}\right]}_{N,N}$$ $${\mathbf{F}}^{-1}=\frac{1}{\sqrt{N}}{\left[\begin{array}{ccccc}1& 1& 1& \cdots & 1\\ 1& W_N^{-1}& W_N^{-2}& \cdots & W_N^{-(N-1)}\\ 1& W_N^{-2}& W_N^{-4}& \cdots & W_N^{-2(N-1)}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& W_N^{-(N-1)}& W_N^{-2(N-1)}& \cdots & W_N^{-(N-1)(N-1)}\end{array}\right]}_{N,N}$$对于这个问题，可以参照维基百科词条 DFT matrix 的解释，简而言之就是，矩阵 $\mathbf{F}$ 和 ${\mathbf{F}}^{-1}$ 前的归一化因子可以任意选取，只要保证 ${\mathbf{F}}^{-1}\mathbf{F}=\mathbf{F}{\mathbf{F}}^{-1}=\mathbf{I}$ 即可，但是我们选取$$\mathbf{F}=\frac{1}{N}{\left[\begin{array}{ccccc}1& 1& 1& \cdots & 1\\ 1& W_N^1& W_N^2& \cdots & W_N^{N-1}\\ 1& W_N^2& W_N^4& \cdots & W_N^{2(N-1)}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& W_N^{N-1}& W_N^{2(N-1)}& \cdots & W_N^{(N-1)(N-1)}\end{array}\right]}_{N,N}$$ 时，可以保证 $\sqrt{N}\mathbf{F}$ 是酉矩阵（在论文中 $\sqrt{N}\mathbf{F}$ 才是离散傅里叶变换矩阵，而非 $\mathbf{F}$）。若 $\sqrt{N}\mathbf{F}$ 是酉矩阵，则有 $(\sqrt{N}\mathbf{F}{)}^H(\sqrt{N}\mathbf{F})=(\sqrt{N}\mathbf{F})(\sqrt{N}\mathbf{F}{)}^H=\mathbf{I}$，这会给傅里叶域计算带来便捷。
③ 矩阵元素中的 $W_N=e^{-i\frac{2\pi }{N}}$，因此当 $N=4$ 时，有 $W_4=e^{-i\frac{2\pi }{4}}=-i$
$$\sqrt{4}\mathbf{F}=\frac{1}{\sqrt{4}}{\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& -i& -1& i\\ 1& -1& 1& -1\\ 1& i& -1& -i\end{array}\right]}_{4,4}$$ 易验证上面是一个酉矩阵。$W_N=e^{-i\frac{2\pi }{N}}$（称之为旋转因子） 还有计算性质如下
• 周期性 $W_N^n=W_N^{n+rN}$
• 共轭对称性 $W_N^n=(W_N^{-n}{)}^{\ast }$
• 可约性 $W_{rN}^{rn}=W_N^n$
• 正交性 $\frac{1}{N}{\sum }_{n=0}^{N-1}{W}_N^{kn}(W_N^{mn}{)}^{\ast }=\frac{1}{N}{\sum }_{n=0}^{N-1}{W}_N^{(k-m)n}=\{\begin{array}{ll}1,& k=m\\ 0,& k\ne m\end{array}$
④ $(\hat{\mathbf{a}}{)}_{N,1}=\sqrt{N}(\mathbf{F}{)}_{N,N}(\mathbf{a}{)}_{N,1}$ 是矩阵形式的表达，DFT 及 IDFT 常见写法如下
$$\hat{a}(k)=\frac{1}{\sqrt{N}}\sum _{n=0}^{N-1}a(n)W_N^{nk},k=0,1,\cdots ,N-1$$ $$a(n)=\frac{1}{\sqrt{N}}\sum _{k=0}^{N-1}\hat{a}(k)W_N^{-nk},n=0,1,\cdots ,N-1$$ 补充说明4（结束）

下面我们考虑将公式（3）变换到频域（傅氏域）：
有了上述的补充说明，便可以进行下述推导：
重点先看公式（3）的第一项（省略系数 $\frac{1}{2}$） $$\sum _{j=1}^T\Vert y(j)-\sum _{k=1}^K{\mathbf{h}}_k^T\mathbf{P}{\mathbf{x}}_k[\Delta {\mathbf{\tau }}_j]{\Vert }_2^2$$ 将其展开写可写成：
$${\left[\begin{array}{c}y(1)-\left(\begin{array}{c}⟨{\mathbf{P}}^T{\mathbf{h}}_1,{\mathbf{x}}_1[\Delta {\mathbf{\tau }}_1]⟩+⟨{\mathbf{P}}^T{\mathbf{h}}_2,{\mathbf{x}}_2[\Delta {\mathbf{\tau }}_1]⟩+\cdots +⟨{\mathbf{P}}^T{\mathbf{h}}_K,{\mathbf{x}}_K[\Delta {\mathbf{\tau }}_1]⟩\end{array}\right)\end{array}\right]}^2+$$ $${\left[\begin{array}{c}y(2)-\left(\begin{array}{c}⟨{\mathbf{P}}^T{\mathbf{h}}_1,{\mathbf{x}}_1[\Delta {\mathbf{\tau }}_2]⟩+⟨{\mathbf{P}}^T{\mathbf{h}}_2,{\mathbf{x}}_2[\Delta {\mathbf{\tau }}_2]⟩+\cdots +⟨{\mathbf{P}}^T{\mathbf{h}}_K,{\mathbf{x}}_K[\Delta {\mathbf{\tau }}_2]⟩\end{array}\right)\end{array}\right]}^2$$ $$+\cdots +$$ $${\left[\begin{array}{c}y(T)-\left(\begin{array}{c}⟨{\mathbf{P}}^T{\mathbf{h}}_1,{\mathbf{x}}_1[\Delta {\mathbf{\tau }}_T]⟩+⟨{\mathbf{P}}^T{\mathbf{h}}_2,{\mathbf{x}}_2[\Delta {\mathbf{\tau }}_T]⟩+\cdots +⟨{\mathbf{P}}^T{\mathbf{h}}_K,{\mathbf{x}}_K[\Delta {\mathbf{\tau }}_T]⟩\end{array}\right)\end{array}\right]}^2$$ 将上述展开式看成一个 “大” 的 2-范数的平方，即 $\Vert (\mathbf{y}{)}_{T,1}-(\mathbf{z}{)}_{T,1}{\Vert }_2^2$ ，其中 $$z(j)=\sum _{k=1}^K⟨{\mathbf{P}}^T{\mathbf{h}}_k,{\mathbf{x}}_k[\Delta {\mathbf{\tau }}_{j+1}]⟩,j=0,1,\cdots ,T-1$$ 显然有对 $\mathbf{y}$ 的 DFT：$\hat{\mathbf{y}}=\sqrt{T}\mathbf{F}\mathbf{y}$
下面考虑对 $\mathbf{z}$ 的 DFT， $\hat{\mathbf{z}}$ ，显然有：
$$\hat{\mathbf{z}}=\sqrt{T}\mathbf{F}\mathbf{z}=$$ $$\frac{1}{\sqrt{T}}{\left[\begin{array}{ccccc}1& 1& 1& \cdots & 1\\ 1& W_T^1& W_T^2& \cdots & W_T^{T-1}\\ 1& W_T^2& W_T^4& \cdots & W_T^{2(T-1)}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& W_T^{T-1}& W_T^{2(T-1)}& \cdots & W_T^{(T-1)(T-1)}\end{array}\right]}_{T,T}{\left[\begin{array}{c}⟨{\mathbf{P}}^T{\mathbf{h}}_1,{\mathbf{x}}_1[\Delta {\mathbf{\tau }}_1]⟩+⟨{\mathbf{P}}^T{\mathbf{h}}_2,{\mathbf{x}}_2[\Delta {\mathbf{\tau }}_1]⟩+\cdots +⟨{\mathbf{P}}^T{\mathbf{h}}_K,{\mathbf{x}}_K[\Delta {\mathbf{\tau }}_1]⟩\\ ⟨{\mathbf{P}}^T{\mathbf{h}}_1,{\mathbf{x}}_1[\Delta {\mathbf{\tau }}_2]⟩+⟨{\mathbf{P}}^T{\mathbf{h}}_2,{\mathbf{x}}_2[\Delta {\mathbf{\tau }}_2]⟩+\cdots +⟨{\mathbf{P}}^T{\mathbf{h}}_K,{\mathbf{x}}_K[\Delta {\mathbf{\tau }}_2]⟩\\ ⋮\\ ⟨{\mathbf{P}}^T{\mathbf{h}}_1,{\mathbf{x}}_1[\Delta {\mathbf{\tau }}_T]⟩+⟨{\mathbf{P}}^T{\mathbf{h}}_2,{\mathbf{x}}_2[\Delta {\mathbf{\tau }}_T]⟩+\cdots +⟨{\mathbf{P}}^T{\mathbf{h}}_K,{\mathbf{x}}_K[\Delta {\mathbf{\tau }}_T]⟩\end{array}\right]}_{T,1}$$ 写成另外一种形式为：$$\hat{z}(i)=\frac{1}{\sqrt{T}}\sum _{j=0}^{T-1}z(j)W_N^{ji}=\frac{1}{\sqrt{T}}\sum _{j=0}^{T-1}\sum _{k=1}^K⟨{\mathbf{P}}^T{\mathbf{h}}_k,{\mathbf{x}}_k[\Delta {\mathbf{\tau }}_{j+1}]⟩W_N^{ji},i=0,1,\cdots ,T-1$$ 利用公式 $\lambda ⟨\mathbf{a},\mathbf{b}⟩=⟨\mathbf{a},\lambda \mathbf{b}⟩$ 则有：
$$\hat{z}(i)=\frac{1}{\sqrt{T}}\sum _{j=0}^{T-1}\sum _{k=1}^K⟨{\mathbf{P}}^T{\mathbf{h}}_k,{\mathbf{x}}_k[\Delta {\mathbf{\tau }}_{j+1}]W_N^{ji}⟩$$ 交换求和顺序（互换符号 $\sum$）：
$$\hat{z}(i)=\frac{1}{\sqrt{T}}\sum _{k=1}^K\sum _{j=0}^{T-1}⟨{\mathbf{P}}^T{\mathbf{h}}_k,{\mathbf{x}}_k[\Delta {\mathbf{\tau }}_{j+1}]W_N^{ji}⟩$$ 利用公式 $\sum ⟨\mathbf{a},{\mathbf{b}}_j⟩=⟨\mathbf{a},\sum {\mathbf{b}}_j⟩$ 则有：
$$\hat{z}(i)=\frac{1}{\sqrt{T}}\sum _{k=1}^K⟨{\mathbf{P}}^T{\mathbf{h}}_k,\sum _{j=0}^{T-1}{\mathbf{x}}_k[\Delta {\mathbf{\tau }}_{j+1}]W_N^{ji}⟩=\sum _{k=1}^K⟨{\mathbf{P}}^T{\mathbf{h}}_k,\frac{1}{\sqrt{T}}\sum _{j=0}^{T-1}{\mathbf{x}}_k[\Delta {\mathbf{\tau }}_{j+1}]W_N^{ji}⟩$$ 上式中 $({\mathbf{x}}_k[\Delta {\mathbf{\tau }}_{j+1}]{)}_{T,1}$ 为，写开有如下：
$$\hat{z}(i)=\sum _{k=1}^K⟨{\mathbf{P}}^T{\mathbf{h}}_k,\frac{1}{\sqrt{T}}\left[\begin{array}{cccc}{\mathbf{x}}_k[\Delta {\mathbf{\tau }}_1]& {\mathbf{x}}_k[\Delta {\mathbf{\tau }}_2]& \cdots & {\mathbf{x}}_k[\Delta {\mathbf{\tau }}_T]\end{array}\right]\left[\begin{array}{c}{W}_T^{0i}\\ W_T^{1i}\\ ⋮\\ W_T^{(T-1)i}\end{array}\right]⟩$$
$$=\sum _{k=1}^K({\mathbf{h}}_k^T\mathbf{P}\frac{1}{\sqrt{T}}\left[\begin{array}{cccc}{\mathbf{x}}_k[\Delta {\mathbf{\tau }}_1]& {\mathbf{x}}_k[\Delta {\mathbf{\tau }}_2]& \cdots & {\mathbf{x}}_k[\Delta {\mathbf{\tau }}_T]\end{array}\right]\left[\begin{array}{c}{W}_T^{0i}\\ W_T^{1i}\\ ⋮\\ W_T^{(T-1)i}\end{array}\right])$$
$$=\sum _{k=1}^K⟨\left[\begin{array}{c}{\mathbf{x}}_k[\Delta {\mathbf{\tau }}_1{]}^T\\ {\mathbf{x}}_k[\Delta {\mathbf{\tau }}_2{]}^T\\ ⋮\\ {\mathbf{x}}_k[\Delta {\mathbf{\tau }}_T{]}^T\end{array}\right]{\mathbf{P}}^T{\mathbf{h}}_k,\frac{1}{\sqrt{T}}\left[\begin{array}{c}{W}_T^{0i}\\ W_T^{1i}\\ ⋮\\ W_T^{(T-1)i}\end{array}\right]⟩=⟨\sum _{k=1}^K\left[\begin{array}{c}{\mathbf{x}}_k[\Delta {\mathbf{\tau }}_1{]}^T\\ {\mathbf{x}}_k[\Delta {\mathbf{\tau }}_2{]}^T\\ ⋮\\ {\mathbf{x}}_k[\Delta {\mathbf{\tau }}_T{]}^T\end{array}\right]{\mathbf{P}}^T{\mathbf{h}}_k,\frac{1}{\sqrt{T}}\left[\begin{array}{c}{W}_T^{0i}\\ W_T^{1i}\\ ⋮\\ W_T^{(T-1)i}\end{array}\right]⟩$$
$$={\left(\sum _{k=1}^K{\mathbf{h}}_k^T\mathbf{P}\left[\begin{array}{cccc}{\mathbf{x}}_k[\Delta {\mathbf{\tau }}_1]& {\mathbf{x}}_k[\Delta {\mathbf{\tau }}_2]& \cdots & {\mathbf{x}}_k[\Delta {\mathbf{\tau }}_T]\end{array}\right]\right)}_{1,T}{\left(\frac{1}{\sqrt{T}}\left[\begin{array}{c}{W}_T^{0i}\\ W_T^{1i}\\ ⋮\\ W_T^{(T-1)i}\end{array}\right]\right)}_{T,1}$$
因此 ${\hat{\mathbf{z}}}^T=[\hat{z}(0),\hat{z}(1),\cdots ,\hat{z}(T-1)]$ 为：
$${\hat{\mathbf{z}}}^T={\left(\sum _{k=1}^K{\mathbf{h}}_k^T\mathbf{P}\left[\begin{array}{cccc}{\mathbf{x}}_k[\Delta {\mathbf{\tau }}_1]& {\mathbf{x}}_k[\Delta {\mathbf{\tau }}_2]& \cdots & {\mathbf{x}}_k[\Delta {\mathbf{\tau }}_T]\end{array}\right]\right)}_{1,T}{\left(\frac{1}{\sqrt{T}}\left[\begin{array}{cccc}{W}_T^0& W_T^0& \cdots & W_T^0\\ W_T^0& W_T^1& \cdots & W_T^{T-1}\\ ⋮& ⋮& \ddots & ⋮\\ W_T^0& W_T^{1(T-1)}& \cdots & W_T^{(T-1)(T-1)}\end{array}\right]\right)}_{T,T}$$
$$={\left(\sum _{k=1}^K{\mathbf{h}}_k^T\mathbf{P}\left[\begin{array}{cccc}{\mathbf{x}}_k[\Delta {\mathbf{\tau }}_1]& {\mathbf{x}}_k[\Delta {\mathbf{\tau }}_2]& \cdots & {\mathbf{x}}_k[\Delta {\mathbf{\tau }}_T]\end{array}\right]\right)}_{1,T}{\left(\sqrt{T}\mathbf{F}\right)}_{T,T}$$
记矩阵如下：
$${\mathbf{X}}_k=\left[\begin{array}{c}{\mathbf{x}}_k[\Delta {\mathbf{\tau }}_1{]}^T\\ {\mathbf{x}}_k[\Delta {\mathbf{\tau }}_2{]}^T\\ ⋮\\ {\mathbf{x}}_k[\Delta {\mathbf{\tau }}_T{]}^T\end{array}\right]=\left[\begin{array}{cccc}{x}_k(1)& x_k(2)& \cdots & x_k(T)\\ x_k(T)& x_k(1)& \cdots & x_k(T-1)\\ ⋮& ⋮& \ddots & ⋮\\ x_k(2)& x_k(3)& \cdots & x_k(1)\end{array}\right]$$ 很明显每一个 ${\mathbf{X}}_k(k=1,2,\cdots ,K)$ 是一个循环矩阵，我们可以很方便地对循环矩阵进行 DFT 。
这样，可以写出：
$${\hat{\mathbf{z}}}^T=\sum _{k=1}^K{\mathbf{h}}_k^T\mathbf{P}{\mathbf{X}}_k^T\sqrt{T}\mathbf{F}$$ 写成列向量的形式，需要进行转置（$\mathbf{F}={\mathbf{F}}^T$）：
$$\hat{\mathbf{z}}=\sum _{k=1}^K\mathbf{F}{\mathbf{X}}_k\sqrt{T}{\mathbf{P}}^T{\mathbf{h}}_k$$
补充说明5（开始）：
循环矩阵的重要性质：
任一循环矩阵均可以被离散傅里叶变换矩阵对角化
证明略，详见维基百科词条 Circulant matrix
及由博客【目标跟踪: 相关滤波器 三】循环矩阵 可知：
若使用论文定义的 $\mathbf{F}$，则有：
$$({\hat{\mathbf{X}}}_k{)}_{T,T}=(\sqrt{T}\mathbf{F}{)}_{T,T}\cdot (diag({\mathbf{x}}_k){)}_{T,T}\cdot (\sqrt{T}{\mathbf{F}}^H{)}_{T,T}$$ 又
$$(\sqrt{T}\mathbf{F}{)}^H(\sqrt{T}\mathbf{F})=(\sqrt{T}\mathbf{F})(\sqrt{T}\mathbf{F}{)}^H=\mathbf{I}$$ 且由于 $(\sqrt{T}\mathbf{F}{)}^T=(\sqrt{T}\mathbf{F})$ ，故可得：$$(diag({\mathbf{x}}_k){)}_{T,T}=(\sqrt{T}\mathbf{F}{)}_{T,T}\cdot ({\hat{\mathbf{X}}}_k{)}_{T,T}\cdot (\sqrt{T}\mathbf{F}{)}_{T,T}^H$$ 补充说明5（结束）

利用上述说明，有：
$$\hat{\mathbf{z}}=\sum _{k=1}^K\mathbf{F}{\mathbf{X}}_k{\mathbf{F}}^H\mathbf{F}\sqrt{T}{\mathbf{P}}^T{\mathbf{h}}_k$$ 记 ${\mathbf{X}}_k$ 的生成向量的傅里叶变换为 ${\hat{\mathbf{x}}}_k$，则：
$$\hat{\mathbf{z}}=\sum _{k=1}^{K}diag({\hat{\mathbf{x}}}_k)\sqrt{T}(\mathbf{F}{\mathbf{P}}^T){\mathbf{h}}_k\text{\hspace{1em}(*)}$$ 不妨记 ${\mathbf{g}}_k$ ，有
$$({\hat{\mathbf{g}}}_k{)}_{T,1}=\sqrt{T}(\mathbf{F}{)}_{T,T}({\mathbf{P}}^T{\mathbf{h}}_k{)}_{T,1}=\sqrt{T}(\mathbf{F}{)}_{T,T}({\mathbf{P}}^T{)}_{T,D}({\mathbf{h}}_k{)}_{D,1}$$ 再进行如下设计：
将滤波器的 $k$ 个分量并成一个特别长的列向量 $(\mathbf{h}{)}_{(D\times K),1}$
$$\mathbf{h}=\left[\begin{array}{c}{\mathbf{h}}_1\\ {\mathbf{h}}_2\\ ⋮\\ {\mathbf{h}}_K\end{array}\right]=\left[\begin{array}{c}{\left[\begin{array}{cccc}{h}_1(1)& h_1(2)& \cdots & h_1(D)\end{array}\right]}^T\\ {\left[\begin{array}{cccc}{h}_2(1)& h_2(2)& \cdots & h_2(D)\end{array}\right]}^T\\ ⋮\\ {\left[\begin{array}{cccc}{h}_K(1)& h_K(2)& \cdots & h_K(D)\end{array}\right]}^T\end{array}\right]$$ 现在的 $\mathbf{h}$ 是 $D\times K$ 行 1 列的列向量，裁剪矩阵 $(\mathbf{P}{)}_{D,T}$ 无法直接与 $(\mathbf{h}{)}_{(D\times K),1}$ 进行计算（尺寸不匹配），因此我们需要引入克罗内克积（Kronecker Product），记其运算符为 $\otimes$ 。

补充说明6（开始）：
矩阵 $(\mathbf{A}{)}_{m,n}$ 和 $(\mathbf{B}{)}_{p,q}$ 进行克罗内克积运算，则有 $(\mathbf{A}\otimes \mathbf{B}{)}_{(m\times p),(n\times q)}$ ，具体如下
$$\mathbf{A}\otimes \mathbf{B}=\left[\begin{array}{cccc}{a}_{11}\mathbf{B}& a_{12}\mathbf{B}& \cdots & a_{1n}\mathbf{B}\\ a_{21}\mathbf{B}& a_{22}\mathbf{B}& \cdots & a_{2n}\mathbf{B}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}\mathbf{B}& a_{m2}\mathbf{B}& \cdots & a_{mn}\mathbf{B}\end{array}\right]$$ 例如
$$\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\\ a_{31}& a_{32}\end{array}\right]\otimes \left[\begin{array}{ccc}{b}_{11}& b_{12}& b_{13}\\ b_{21}& b_{22}& b_{23}\end{array}\right]=\left[\begin{array}{cccccc}{a}_{11}{b}_{11}& a_{11}{b}_{12}& a_{11}{b}_{13}& a_{12}{b}_{11}& a_{12}{b}_{12}& a_{12}{b}_{13}\\ a_{11}{b}_{21}& a_{11}{b}_{22}& a_{11}{b}_{23}& a_{12}{b}_{21}& a_{12}{b}_{22}& a_{12}{b}_{23}\\ a_{21}{b}_{11}& a_{21}{b}_{12}& a_{21}{b}_{13}& a_{22}{b}_{11}& a_{22}{b}_{12}& a_{22}{b}_{13}\\ a_{21}{b}_{21}& a_{21}{b}_{22}& a_{21}{b}_{23}& a_{22}{b}_{21}& a_{22}{b}_{22}& a_{22}{b}_{23}\\ a_{31}{b}_{11}& a_{31}{b}_{12}& a_{31}{b}_{13}& a_{32}{b}_{11}& a_{32}{b}_{12}& a_{32}{b}_{13}\\ a_{31}{b}_{21}& a_{31}{b}_{22}& a_{31}{b}_{23}& a_{32}{b}_{21}& a_{32}{b}_{22}& a_{32}{b}_{23}\end{array}\right]$$ 补充说明6（结束）

由上述说明，可知：若定义单位阵 $({\mathbf{I}}_K{)}_{K,K}$，则有
$$((\mathbf{F}{)}_{T,T}({\mathbf{P}}^T{)}_{T,D}{)}_{T,D}\otimes ({\mathbf{I}}_K{)}_{K,K}=(\mathbf{F}{\mathbf{P}}^T\otimes {\mathbf{I}}_K{)}_{(T\times K),(D\times K)}$$ 这样便可以与设计的特别长的列向量 $(\mathbf{h}{)}_{(D\times K),1}$ 进行运算，如下：
$$(\hat{\mathbf{g}}{)}_{(T\times K),1}=\sqrt{T}(\mathbf{F}{\mathbf{P}}^T\otimes {\mathbf{I}}_K{)}_{(T\times K),(D\times K)}(\mathbf{h}{)}_{(D\times K),1}$$ 若记 $\hat{\mathbf{X}}$ 为：
$$\hat{\mathbf{X}}=\left[\begin{array}{c}diag({\hat{\mathbf{x}}}_1{)}^T,diag({\hat{\mathbf{x}}}_2{)}^T,\cdots ,diag({\hat{\mathbf{x}}}_K{)}^T\end{array}\right]$$ 这样 $(\ast )$ 式可以写成：
$$\hat{\mathbf{X}}\sqrt{T}(\mathbf{F}{\mathbf{P}}^T\otimes {\mathbf{I}}_K)\mathbf{h}$$ 引入等式表达（用于后续 ADMM 求解）： $$\hat{\mathbf{g}}=\sqrt{T}(\mathbf{F}{\mathbf{P}}^T\otimes {\mathbf{I}}_K)\mathbf{h}$$ 最后得到频域表达式，公式（4）：
$$E(\mathbf{h},\hat{\mathbf{g}})=\frac{1}{2}\Vert \hat{\mathbf{y}}-\hat{\mathbf{X}}\hat{\mathbf{g}}{\Vert }_2^2+\frac{\lambda }{2}\Vert \mathbf{h}{\Vert }_2^2\text{\hspace{1em}(3)}$$

参考链接：
辨析matmul product（一般矩阵乘积），hadamard product（哈达玛积）、kronecker product（克罗内克积）
【目标跟踪: 相关滤波器 三】循环矩阵