半正定Toeplitz矩阵的范德蒙德分解

半正定Toeplitz矩阵的范德蒙德分解

Toeplitz矩阵的定义：Matrices whose entries are constant along each diagonal are called Toeplitz matrices.
形如
$$\mathbf{T}=\left[\begin{array}{cccc}{r}_0& r_1& r_2& r_3\\ r_{-1}& r_0& r_1& r_2\\ r_{-2}& r_{-1}& r_0& r_1\\ r_{-3}& r_{-2}& r_{-1}& r_0\end{array}\right]\text{\hspace{1em}(1)}$$

半正定的Toeplitz矩阵：Positive-Semi-Definite Toeplitz, PSD
形如
$$\mathbf{T}=\left[\begin{array}{cccc}{r}_0& r_1& r_2& r_3\\ r_1^{\ast }& r_0& r_1& r_2\\ r_2^{\ast }& r_1^{\ast }& r_0& r_1\\ r_3^{\ast }& r_2^{\ast }& r_1^{\ast }& r_0\end{array}\right],\mathbf{T}\succcurlyeq 0\text{\hspace{1em}(2)}$$
其中$\mathbf{T}\succcurlyeq 0$表示$\mathbf{T}$是半正定矩阵。

定理：半正定Toeplitz矩阵的范德蒙德分解
Any PSD Toeplitz matrix $\mathbf{T}(\mathbf{u})\in {\mathbb{C}}^{N\times N}$ of rank $r\le N$ admits the following r-atomic Vandermonde decomposition:
$$\mathbf{T}=\sum _{k=1}^r{p}_k\mathbf{a}(f_k){\mathbf{a}}^H(f_k)=\mathbf{A}(\mathbf{f})diag(\mathbf{p}){\mathbf{A}}^H(\mathbf{f})\text{\hspace{1em}(3)}$$
where $p_k>0$, and $f_k\in \mathbb{T}$, $\mathbb{T}=(-\frac{1}{2},\frac{1}{2}]$，$k=1,2,\cdots ,r$ are distinct. Moreover, the decompostion above is unique if $r<N$.
其中
$$\mathbf{a}(f)=[1,e^{i2\pi f},\cdots ,e^{i2\pi (N-1)f}{]}^T\in {\mathbb{C}}^{N\times 1}$$

证明：
（1）首先考虑$r=\text{rank}(\mathbf{T})\le N-1$的情况
因为$\mathbf{T}\succcurlyeq 0$，因此存在$\mathbf{V}\in {\mathbb{C}}^{N\times r}$满足：$\mathbf{T}={\mathbf{V}\mathbf{V}}^H$。
令${\mathbf{V}}_{-N}$为$\mathbf{V}$去掉第$N$行（最后一行）的矩阵：${\mathbf{V}}_{-N}\in {\mathbb{C}}^{(N-1)\times r}$，
令${\mathbf{V}}_{-1}$为$\mathbf{V}$去掉第$1$行（第一行）的矩阵：${\mathbf{V}}_{-1}\in {\mathbb{C}}^{(N-1)\times r}$
因为半正定Toeplitz矩阵的特殊结构，必然有：${\mathbf{V}}_{-N}{\mathbf{V}}_{-N}^H={\mathbf{V}}_{-1}{\mathbf{V}}_{-1}^H$ （下图给了一个直观解释，${\mathbf{V}}_{-N}{\mathbf{V}}_{-N}^H$对应红色方框中的矩阵，${\mathbf{V}}_{-1}{\mathbf{V}}_{-1}^H$对应绿色方框中的矩阵，两者是一样的）

因此，一定存在某个酉阵$\mathbf{Q}\in {\mathbb{C}}^{r\times r}$，使得${\mathbf{V}}_{-1}={\mathbf{V}}_{-N}\mathbf{Q}$，据此我们可以进一步得到（=> it follows that）${\mathbf{V}}_{j,:}={\mathbf{V}}_{1,:}{\mathbf{Q}}^{j-1},j=2,\cdots ,N$，因此
$$\begin{array}{rl}{u}_j& ={\mathbf{V}}_{1,:}({\mathbf{V}}_{j,:}{)}^T\\ & ={\mathbf{V}}_{1,:}({\mathbf{Q}}^{j-1}{)}^H({\mathbf{V}}_{1,:}{)}^H\\ & ={\mathbf{V}}_{1,:}{\mathbf{Q}}^{1-j}({\mathbf{V}}_{1,:}{)}^H\end{array}\text{\hspace{1em}(4)}$$

我们可以将$\mathbf{Q}\in {\mathbb{C}}^{r\times r}$特征分解为（注意$\mathbf{Q}$是酉阵，特征分解必然存在）：
$$\mathbf{Q}=\tilde{\mathbf{Q}}diag(z_1,z_2,\cdots ,z_r){\tilde{\mathbf{Q}}}^H\text{\hspace{1em}(5)}$$

其中$\tilde{\mathbf{Q}}\in {\mathbb{C}}^{r\times r}$是酉阵。因为酉阵的特征值的模都等于1，因此我们可以找到$f_k\in \mathbb{T},k=1,2,\cdots ,r$满足$z_k=e^{i2\pi f_k},k=1,2,\cdots ,r$。令$p_k=|{\mathbf{V}}_{1,:}{\tilde{\mathbf{Q}}}_{:,k}{|}^2>0,k=1,\cdots ,r$，将式(5)代入式(4)，我们得到
$$\begin{array}{rl}{u}_j& ={\mathbf{V}}_{1,:}\tilde{\mathbf{Q}}diag(z_1,z_2,\cdots ,z_r{)}^{1-j}{\tilde{\mathbf{Q}}}^H({\mathbf{V}}_{1,:}{)}^H\\ & =\sum _{k=1}^r{p}_k{z}_k^{1-j}\\ & =\sum _{k=1}^r{p}_k{e}^{-i2\pi (j-1)f_k}\end{array}\text{\hspace{1em}(6)}$$

由此可以得出式(3)是成立的。另外，$f_{k_1}\ne f_{k_2},k_1\ne k_2$，否则$\text{rank}(\mathbf{T})<r$（与假设矛盾）。

（2）然后考虑$r=\text{rank}(\mathbf{T})=N$的情况
这时，$\mathbf{T}\succ 0$。我们随机地选$f_N\in \mathbb{T}$，并且令$p_N=\left({\mathbf{a}}^H(f_N){\mathbf{T}}^{-1}\mathbf{a}(f_N)\right)$。另外，我们定义一个新的向量${\mathbf{u}}^{\prime }\in {\mathbb{C}}^{N\times 1}$
$$u_j^{\prime }=u_j-p_N{e}^{-i2\pi (j-1)f_N}$$

可以被证明：
$$\begin{array}{rl}\mathbf{T}({\mathbf{u}}^{\prime })& =\mathbf{T}(\mathbf{u})-p_N\mathbf{a}(f_N){\mathbf{a}}^H(f_N)\\ \mathbf{T}({\mathbf{u}}^{\prime })& \succcurlyeq 0\\ \text{rank}\left(\mathbf{T}({\mathbf{u}}^{\prime })\right)& =N-1\end{array}$$

因此，$\mathbf{T}({\mathbf{u}}^{\prime })$满足第一种$r\le N-1$的情况。因此，当$r=N$时，分解并不唯一。

最后我们来证明$r\le N-1$时分解的唯一性，如果假设存在另一种分解形式：$\mathbf{T}=\mathbf{A}(f^{\prime }){\mathbf{P}}^{\prime }{\mathbf{A}}^H(f^{\prime }),p_j^{\prime }>0$，且$f_j^{\prime }\in \mathbb{T}$各不相同，这时，我们有
$$\mathbf{A}(f^{\prime }){\mathbf{P}}^{\prime }{\mathbf{A}}^H(f^{\prime })=\mathbf{A}(\mathbf{f})\mathbf{P}{\mathbf{A}}^H(\mathbf{f})$$

那么，存在一个酉阵${\mathbf{Q}}^{\prime }\in {\mathbb{C}}^{r\times r}$ 使得$\mathbf{A}(f^{\prime }){\mathbf{P}}^{\prime \frac{1}{2}}=\mathbf{A}(\mathbf{f}){\mathbf{P}}^{\frac{1}{2}}{\mathbf{Q}}^{\prime }$，因此
$$\mathbf{A}(f^{\prime })=\mathbf{A}(\mathbf{f}){\mathbf{P}}^{\frac{1}{2}}{\mathbf{Q}}^{\prime }{\mathbf{P}}^{\prime -\frac{1}{2}}$$

上式意味着，对于 ∀ j ∈ { 1 , 2 , ⋯   , r } \forall j \in \{1,2,\cdots, r\} ∀j∈{1,2,⋯,r}， a ( f j ′ ) ∈ span { a ( f 1 ) , ⋯   , a ( f r ) } \boldsymbol a(f^{\prime}_j) \in \text{span} \left \{ \boldsymbol a(f_1), \cdots, \boldsymbol a(f_r) \right \} a(fj′​)∈span{a(f1​),⋯,a(fr​)}。又因为在$r\le N-1$时，任意两个分量$\mathbf{a}(f_i)$与$\mathbf{a}(f_j),i\ne j$都是线性独立的，因此必然有， { f j ′ } j = 1 r \{f^{\prime}_j\}_{j=1}^r {fj′​}j=1r​与 { f j } j = 1 r \{f^{}_j\}_{j=1}^r {fj​}j=1r​相等。由此可以得出，当$r\le N-1$时，分解具有唯一性。

总结：

• 当$r\le N-1$时，半正定Toeplitz矩阵的范德蒙德分解是唯一地；
• 当$r=N$时，半正定Toeplitz矩阵的范德蒙德分解不唯一。

推论：任意PSD Toeplitz矩阵$\mathbf{T}(\mathbf{u})\in {\mathbb{C}}^{N\times N}$可以被唯一地分解为：
$$\mathbf{T}=\sum _{k=1}^r{p}_k\mathbf{a}(f_k){\mathbf{a}}^H(f_k)+\sigma \mathbf{I}=\mathbf{A}(\mathbf{f})diag(\mathbf{p}){\mathbf{A}}^H(\mathbf{f})+\sigma \mathbf{I}$$
其中$\sigma ={\lambda }_{min}(\mathbf{T})$，$r=\text{rank}(\mathbf{T}-\sigma \mathbf{I})<N$， $p_k>0$，$f_k\in \mathbb{T},k=1,\cdots ,r$ are disjoint.
Remark: Note that the uniqueness of the decomposition above is guranteed by the condition that $\sigma ={\lambda }_{min}(\mathbf{T})$. If the condition is violated by letting $0\le \sigma <{\lambda }_{min}(\mathbf{T})$ (in such a case $\mathbf{T}$ has full rank and $r\ge N$), then the deomposition cannot be unique.

参考

[1] Yang, Z., Li, J., Stoica, P., & Xie, L. (2016). Sparse Methods for Direction-of-Arrival Estimation. ArXiv, abs/1609.09596.