原子范数去噪及其在线谱估计中的应用

从少量噪声时间样本中求取复指数叠加的频率和相对相位是统计信号处理中的一个基础问题

原子范数

原子范数定义为： ∣ ∣ x ∣ ∣ A = inf ⁡ { t > 0 : x ∈ t c o n v ( A ) } ||x||_A = \inf \{t > 0: x ∈ tconv(\mathcal A)\} ∣∣x∣∣A​=inf{t>0:x∈tconv(A)} $\mathcal{A}.$ 为原子的集合，满足其凸包 $conv(\mathcal{A})$ 是紧致的，中心对称的，并且包含原点作为内点。
当集合 $\mathcal{A}$ 是单位范数 1-sparse 元素的集合时，原子范数为 $l_1$ 范数。 类似地，当集合 $\mathcal{A}$ 为 rank-1 的矩阵的集合时，原子范数就是核范数。

假设观察到信号 $y=x^{\ast }+w$ ，并且先验的知道 $x^{\ast }$ 可以写成 $\mathcal{A}$ 中几个原子的线性组合。

Lemma 1（最优条件）
$1.||y-\hat{x}|{|}_{\mathcal{A}}^{\ast }\le \tau .$
$2.⟨y-\hat{x},\hat{x}⟩=\tau ||\hat{x}|{|}_{\mathcal{A}}.$
在上述条件下，
$$\underset{x}{\min }||x-y|{|}_2^2+\tau ||x|{|}_{\mathcal{A}}.$$的解为 $\hat{x}$。对偶范数为：$$||z|{|}_{\mathcal{A}}^{\ast }=\underset{\begin{array}{c}||x|{|}_{\mathcal{A}}\le 1\end{array}}{\sup }⟨z,\alpha ⟩.$$这意味着$⟨x,z⟩\le ||x|{|}_{\mathcal{A}}||z|{|}_{\mathcal{A}}^{\ast }$, 因为上式的上确界是可确定的，因此对于任意一个 a 都有一个 z 使其相等。
由于 $\mathcal{A}$ 包含 { x : ∣ ∣ x ∣ ∣ A ≤ 1 } \{ x:||x||_{\mathcal A} \le 1\} {x:∣∣x∣∣A​≤1} 所有的极值点，因此保证最优解实际上位于集合 $\mathcal{A}$ 中：$$||z|{|}_{\mathcal{A}}^{\ast }=\underset{\begin{array}{c}\alpha \in \mathcal{A}\end{array}}{\sup }⟨z,\alpha ⟩.$$ 对偶范数将在整个过程中发挥关键作用，因为渐近误差率将以噪声过程的对偶原子范数表示。
Lemma 2（对偶问题）
$\underset{x}{\min }||x-y|{|}_2^2+\tau ||x|{|}_{\mathcal{A}}$的对偶问题为：$$\underset{z}{\max }\frac{1}{2}(||y|{|}_2^2-||y-z|{|}_2^2),subjectto||z|{|}_{\mathcal{A}}^{\ast }\le z.$$初始问题的解 $\hat{x}$ 和对偶问题的解 $\hat{z}$ 的最优性条件和规定没有无对偶间隙：
$i)y=\hat{x}+\hat{z}.$
$ii)||z|{|}_{\mathcal{A}}^{\ast }\le \tau .$
$iii)⟨\hat{z},\hat{x}⟩=\tau ||\hat{x}|{|}_{\mathcal{A}}.$

推论1：假设一些 $S\subset \mathcal{A}$，$\hat{z}$是对偶问题的解，满足：
1）$⟨\hat{z},a⟩=\tau whenevera\in S.$
2）$|⟨\hat{z},a⟩|<\tau ifa\notin S.$
然后，任意的解 $\hat{x}$可以分解为 $\hat{x}={\sum }_{a\in S}{c}_{a}a$ , $(||\hat{x}|{|}_{\mathcal{A}}={\sum }_{a\in S}{c}_a)$.
因此，对偶解 $\hat{z}$ 提供了一种确定将 $\hat{x}$ 分解为一组基本原子的方法，该基本原子实现了 $\hat{x}$ 的原子范数。事实上，我们可以计算内积 $⟨\hat{z},x⟩$，并确定内积的绝对值为 $\tau$ 的原子。
当SNR高时，期望在某些假设下以这种方式识别的分解应该接近 $x^{\ast }$ 的原始分解。

P1（正则化参数的MSE的上界的最优选择）：
如果正则化参数 $\tau >||w|{|}_{\mathcal{A}}^{\ast }$，$\hat{x}$ 的最优解有 MSE：$$\frac{1}{n}||\hat{x}-x^{\ast }|{|}_2^2\le \frac{1}{n}(\tau ||x^{\ast }|{|}_{\mathcal{A}}-⟨x^{\ast },w⟩\le \frac{2\pi }{n}||x^{\ast }|{|}_{\mathcal{A}}).$$

线谱估计

对复正弦曲线的线性组合进行降噪。原子集合由各个正弦曲线的样本组成，$a_{f,\varphi }\in {\mathbb{C}}^n$：$$a_{f,\varphi }=e^{i2\pi \varphi }[1e^{i2\pi f}...e^{i2\pi (n-1)f}{]}^T.$$无限的原子集 A = { a f , ϕ : f ⊂ [ 0 , 1 ] , ϕ ⊂ [ 0 , 1 ] } \mathcal A=\{ a_{f,\phi}:f\sub[0,1],\phi\sub[0,1] \} A={af,ϕ​:f⊂[0,1],ϕ⊂[0,1]} 组成了 $x^{\ast }$ 适当的原子集合，$x^{\ast }$ 在对偶问题中可以写成一个稀疏的非负的原子组合。
$x^{\ast }={\sum }_{l=1}^k{c}_l^{\ast }{a}_{f_l^{\ast },0}={\sum }_{l=1}^k|c_l^{\ast }|a_{f_l^{\ast },{\varphi }_l}$,其中 $c_l^{\ast }=|c_l^{\ast }|e^{i2\pi {\varphi }_l}$

相应的对偶范数采用直观的形式：$$||v|{|}_{\mathcal{A}}^{\ast }=\underset{\begin{array}{c}f\end{array},\varphi }{\sup }⟨v,a_{f,\varphi }⟩=\underset{\begin{array}{c}f\end{array}\in [0,1]}{\sup }\underset{\begin{array}{c}\varphi \end{array}\in [0,1]}{\sup }{e}^{i2\pi \varphi }\sum _{l=0}^{n-1}{v}_l{e}^{-2\pi ilf}=\underset{\begin{array}{c}|\end{array}z|<1}{\sup }|\sum _{l=0}^{n-1}{v}_l{z}^l|.$$换句话说， $||v|{|}_{\mathcal{A}}^{\ast }$ 是多项式 $\zeta \mapsto {\sum }_{l=0}^{n-1}{v}_l{\zeta }^l.$ 在单位圆上获得的最大绝对值。

A.原子软阈值SDP

给出了与线谱原子集 A = { a f , ϕ ∣ f ∈ [ 0 , 1 ] , ϕ ∈ [ 0 , 1 ] } \mathcal A=\{a_{f,\phi}|f\in[0,1],\phi\in[0,1]\} A={af,ϕ​∣f∈[0,1],ϕ∈[0,1]} 相关的原子范数的半定刻画，由上面的式子可以知道，向量 $v\in {\mathbb{C}}^n$ 的对偶原子范数是复数三角多项式 $V(f)={\sum }_{l=0}^{n-1}{v}_l{e}^{i2\pi lf}$ 的最大绝对值。
因此，对对偶原子范数的约束等价于对 $V(f)$ 的大小的限制：$$||v|{|}_{\mathcal{A}}^{\ast }\le \tau \iff |V(f){|}^2\le {\tau }^2,\forall f\in [0,1].$$函数 $q(f)={\tau }^2-|V(f){|}^2$ 是一个三角多项式（|z|=1时，变量 $z$ 和 $z^{\ast }$ 的多项式）。$q(f)$ 为非负的一个充分必要条件是它可以写成三角多项式的平方和。
定义一个映射$T：{\mathbb{C}}^n\to {\mathbb{C}}^{n\times n}$，它从输入中创建一个Hermitian Toeplitz矩阵，即$$T(x)=\left[\begin{array}{cccc}{x}_1& x_2& ...& x_n\\ x_2^{\ast }& x_1& ...& x_{n-1}\\ ⋮& ⋮& \ddots & ⋮\\ x_n^{\ast }& x_{n-1}^{\ast }& ...& x_1\end{array}\right]$$Lemma 4： 对于任何给定的因果三角多项式 $V(f)={\sum }_{l=0}^{n-1}{v}_l{e}^{i2\pi lf},|V(f)|<\tau .$ 当且仅当存在复 Hermitian 矩阵Q使得$$T^{\ast }(Q)={\tau }^2{e}_{1}and\left[\begin{array}{cc}Q& v\\ v^{\ast }& 1\end{array}\right]⪰0.$$ $e_1$ 是第一个标准基向量，其在第一个分量处为 1 并且在其他地方为 0。重写原子范数 $||x|{|}_{\mathcal{A}}={\sup }_{\begin{array}{c}||v|{|}_{\mathcal{A}}^{\ast }\le 1\end{array}}⟨x,v⟩$ 为下面的半定规划问题：$$\underset{\begin{array}{c}v\end{array},Q}{\max }⟨x,v⟩subjectto{T}^{\ast }(Q)=e_{1}and\left[\begin{array}{cc}Q& v\\ v^{\ast }& 1\end{array}\right]⪰0.$$上面的对偶问题（after a trivial rescaling）于是等于 $x$ 的原子范数：$$||x|{|}_{\mathcal{A}}=\underset{\begin{array}{c}t\end{array},u}{\min }\frac{1}{2}(t+u_1)subjectto\left[\begin{array}{cc}T(u)& x\\ x^{\ast }& t\end{array}\right]⪰0.$$半定程序可以通过现成的求解器来求解。

B.选择正则化参数

正则化参数的选择取决于噪声模型，正则化参数的最佳选择取决于噪声的对偶范数。当我们考虑单位圆上 n 个均匀间隔点的最大值时，对偶范数的期望一个简单下界出现。
$n\ge 5$ 时下界为：$\sigma \sqrt{n\log (n)-\frac{n}{2}\log (4\pi \log (n))}.$
$n>3$ 时的噪声的期望对偶范数的一个非渐近上界：$\sigma (1+\frac{1}{\log (n)})\sqrt{n\log (n)+n\log (4\pi \log (n))}.$

C.确定频率

对偶解可用于识别原始解的频率。对于线谱估计，当且仅当$$|⟨\hat{z},a_{f,\varphi }⟩|=|\sum _{l=0}^{n-1}{\hat{z}}_l{e}^{i2\pi lf}|=\tau .$$时，一个频率 $f\in [0,1]$ 是对偶多项式模的最大值点，可以得出估计的信号值 $\hat{x}$。可以通过找到对偶多项式达到幅度 $\tau$ 的频率 $f$ 来确定。

在无噪声情况下，如果频率之间的最小间隔至少为 $4/n$，则由对偶多项式定位的频率是精确的，其中 $n$ 是线谱信号中的样本数。

D.离散化和 LASSO

用Lasso作为半定规划的替代方案,减小复杂度。选择一个均匀的频率数为 $N$ 的网格 A N = { a m / N , ϕ ∣ 0 ≤ m ≤ N − 1 } ⊂ A \mathcal A_N=\{ a_{m/N,\phi} | 0 \le m \le N-1 \}\sub \mathcal A AN​={am/N,ϕ​∣0≤m≤N−1}⊂A，在这个网格上并求解 $\hat{x}$ ：$$\min ||x-y|{|}_2^2+\tau ||x|{|}_{{\mathcal{A}}_N}.$$定义 $\Phi$为大小为 $n\times N$ 的 Fourier矩阵，其第 m 列为 $a_{m/N,0}$。对于任意的 $x\in {\mathbb{C}}^n$，有 ∣ x ∣ A N = min ⁡ { ∣ ∣ c ∣ ∣ 1 : x = Φ c } |x|_{\mathcal A_N}=\min\{ ||c||_1:x=\Phi c \} ∣x∣AN​​=min{∣∣c∣∣1​:x=Φc} .因此，对于最优点$\hat{c}$和集合 ${\hat{x}}_N=\Phi \hat{c}$ 或 $\hat{c}$ 的 $N$ 项离散傅里叶变换（DFT）的前 $n$ 项：$$\min \frac{1}{2}||\Phi c-y|{|}_2^2+\tau ||c|{|}_1.$$ 此外，$z\in {\mathbb{C}}^n$，${\Phi }^{\ast }z$ 表示其 $N$ 项 离散傅里叶反变换（IDFT）。