正交与过完备基：从经典展开到压缩感知

正交与过完备基：从经典展开到压缩感知

在现代信号处理和数据分析中，基底选择决定了我们如何理解和处理信息。正交基展开提供了唯一、高效的信号表示方式，而压缩感知中的过完备非正交基则通过冗余性实现了稀疏表示能力。

完全正交基的数学基础

完全正交基集合构成了经典信号分析的数学基石。在 Hilbert 空间 $H$ 中，一组向量 $v_1,v_2,...,v_n$ 称为正交集，当且仅当内积满足：

$$⟨v_i,v_j⟩=\{\begin{array}{ll}0& \text{if }i\ne j\\ \Vert v_i{\Vert }^2& \text{if }i=j\end{array}$$

当每个向量都归一化为单位长度时，我们得到正交标准基：$⟨v_i,v_j⟩={\delta }_{ij}$，其中 ${\delta }_{ij}$ 是 Kronecker delta 函数。对于连续函数空间，正交条件表示为：

$${\int }_a^b{\varphi }_m(x){\varphi }_n(x)w(x)dx={\delta }_{mn}{N}_n$$

其中 $w(x)$ 是权函数，$N_n$ 是归一化常数。

完备性的严格数学定义基于 Bessel 不等式和 Parseval 等式。对于正交函数系 ${\phi }_n(x)$，Bessel 不等式保证：

$$\sum _{n=0}^{\infty }\frac{|⟨f,{\varphi }_n⟩{|}^2}{\Vert {\varphi }_n{\Vert }^2}\le \Vert f{\Vert }^2$$

当等号成立时，该函数系是完备的。完备性的等价条件是：对于 $L^2[a,b]$ 中的任意函数 $f(x)$，有

$$\underset{N\to \infty }{\lim }{\int }_a^b{\left|f(x)-\sum _{n=0}^N{c}_n{\varphi }_n(x)\right|}^{2}w(x)dx=0$$

其中 $c_n=⟨f,{\phi }_n⟩/\Vert {\phi }_n{\Vert }^2$。

正交性的数学威力体现在系数计算的简洁性。考虑展开式 $f(x)={\Sigma }_{n=0}^{\infty }{c}_n{\phi }_n(x)$，对两边与 ${\phi }_j(x)$ 做内积：

$$⟨f,{\varphi }_j⟩=⟨\sum _{n=0}^{\infty }{c}_n{\varphi }_n,{\varphi }_j⟩=\sum _{n=0}^{\infty }{c}_n⟨{\varphi }_n,{\varphi }_j⟩=c_j\Vert {\varphi }_j{\Vert }^2$$

因此 $c_j=⟨f,{\phi }_j⟩/\Vert {\phi }_j{\Vert }^2$，这个结果独立于其他系数，体现了正交分解的优雅性。

Parseval定理的完整形式为：

$$\sum _{k=0}^{\infty }|c_k{|}^2\Vert {\varphi }_k{\Vert }^2={\int }_a^b|f(x){|}^{2}w(x)dx$$

这个恒等式不仅保证了能量守恒，还提供了收敛性判据。对于归一化正交基，Parseval定理简化为：

$$\Vert f{\Vert }^2=\sum _{k=0}^{\infty }|c_k{|}^2$$

这表明信号在时域和变换域的能量完全相等，是线性变换保持内积结构的直接结果。从泛函分析角度，这反映了正交变换是酉变换（unitary transformation）的特性：$U\ast U=UU\ast =I$。

正交基展开的经典实例

傅里叶基是最著名的正交基系统。复指数函数集 $e^{(}in{\omega }_{0}t)$ 在周期 $T=2\pi /{\omega }_0$ 上构成完备正交基，满足正交条件：

$${\int }_0^T{e}^{in{\omega }_{0}t}{e}^{-im{\omega }_{0}t}dt={\int }_0^T{e}^{i(n-m){\omega }_{0}t}dt=\{\begin{array}{ll}T& \text{if }n=m\\ 0& \text{if }n\ne m\end{array}$$

任何周期函数都可以展开为傅里叶级数：

$$f(t)=\sum _{n=-\infty }^{\infty }{c}_n{e}^{in{\omega }_{0}t}$$

其中系数通过正交性计算：

$$c_n=\frac{1}{T}{\int }_0^{T}f(t)e^{-in{\omega }_{0}t}dt$$

傅里叶变换的卷积定理展示了正交基的深层数学结构。若 $F[f(t)]=F(\omega )$ 和 $F[g(t)]=G(\omega )$，则：

$$F[f\ast g]=F(\omega )\cdot G(\omega )$$

这个性质的证明利用了复指数的正交性：

$${\int }_{-\infty }^{\infty }{e}^{i(\omega -{\omega }^{\prime })t}dt=2\pi \delta (\omega -{\omega }^{\prime })$$

小波基提供了时频局域化的多分辨率分析。从尺度函数 $\phi (t)$ 和母小波 $\psi (t)$ 出发，构造正交小波基：

$${\varphi }_{j,k}(t)=2^{j/2}\varphi (2^{j}t-k)$$
$${\psi }_{j,k}(t)=2^{j/2}\psi (2^{j}t-k)$$

这些函数满足双正交关系：

$$⟨{\varphi }_{j,k},{\varphi }_{j^{\prime },k^{\prime }}⟩={\delta }_{j,j^{\prime }}{\delta }_{k,k^{\prime }}$$
$$⟨{\psi }_{j,k},{\psi }_{j^{\prime },k^{\prime }}⟩={\delta }_{j,j^{\prime }}{\delta }_{k,k^{\prime }}$$
$$⟨{\varphi }_{j,k},{\psi }_{j^{\prime },k^{\prime }}⟩=0$$

多分辨率分析的核心是尺度方程（细化方程）：

$$\varphi (t)=\sqrt{2}\sum _k{h}_k\varphi (2t-k)$$

其中 $h_k$ 是低通滤波器系数，满足归一化条件 ${\Sigma }_k{h}_k=\surd 2$。小波函数与高通滤波器的关系为：

$$\psi (t)=\sqrt{2}\sum _k{g}_k\varphi (2t-k)$$

其中 $g_k=(-1{)}^k{h}_{1-k}$，保证了小波的正交性。

Legendre多项式通过递推关系生成，展示了正交多项式的代数结构：

$$(n+1)P_{n+1}(x)=(2n+1)x{P}_n(x)-n{P}_{n-1}(x)$$

起始条件为 $P_0(x)=1,P_1(x)=x$。这些多项式在 $[-1,1]$ 上关于权函数 $w(x)=1$ 正交：

$${\int }_{-1}^1{P}_m(x)P_n(x)dx=\frac{2}{2n+1}{\delta }_{mn}$$

Legendre多项式的生成函数为：

$$\frac{1}{\sqrt{1-2xt+t^2}}=\sum _{n=0}^{\infty }{P}_n(x)t^n$$

这个生成函数揭示了 Legendre 多项式与物理中的势函数展开的深刻联系。

Rodrigues公式提供了 Legendre 多项式的显式表达：

$$P_n(x)=\frac{1}{2^{n}n!}\frac{d^n}{d{x}^n}(x^2-1{)}^n$$

这个公式连接了多项式理论和微分算子，体现了正交多项式的深层数学结构。

过完备非正交基的数学框架

过完备字典从根本上改变了信号表示的范式。在 $R^n$ 中，字典 $D=[d_1,d_2,...,d_p]\in R^{nxp}$ 称为过完备的，当 $p>n$，即原子（列向量）的数量超过了空间的维数。冗余因子 $r=p/n>1$ 度量了字典的过完备程度。过完备字典的基本性质可通过框架理论（frame theory）严格描述。字典 $D$ 构成框架，当且仅当存在常数 $0<A\le B<\infty$，使得对所有 $x\in R^n$ 有：

$$A\Vert x{\Vert }^2\le \sum _{i=1}^p|⟨x,d_i⟩{|}^2\le B\Vert x{\Vert }^2$$

常数 $A$ 和 $B$ 分别称为下界和上界框架常数。当 $A=B$ 时，称为紧框架。

过完备表示的非唯一性导致了稀疏优化问题。给定观测 $y=\Phi x$，其中 $\Phi \in R^{mxn}(m<n)$，我们寻求最稀疏的解：

$$\min \Vert x{\Vert }_0\text{subject to}y=\Phi x$$

这是一个组合优化问题，具有 ${\ell }_0$ “伪范数”：

∥ x ∥ 0 = ∣ { i : x i ≠ 0 } ∣ \|x\|_0 = |\{i : x_i \neq 0\}| ∥x∥0​=∣{i:xi​=0}∣

由于 ${\ell }_0$ 最小化是 NP-难问题，通常使用 ${\ell }_1$ 松弛：

$$\underset{x}{\min }\Vert x{\Vert }_1\text{subject to}y=\Phi x$$

其中 $\Vert x{\Vert }_1={\Sigma }_i|x_i|$ 是 ${\ell }_1$ 范数。

限制等距性质（RIP） 为稀疏恢复提供了理论基础。矩阵 $\Phi$ 满足 k-RIP，如果存在 ${\delta }_k\in (0,1)$ 使得：

$$(1-{\delta }_k)\Vert x{\Vert }_2^2\le \Vert \Phi x{\Vert }_2^2\le (1+{\delta }_k)\Vert x{\Vert }_2^2$$

对所有 $k$-稀疏向量 $x$ 成立。RIP 常数定义为：

δ k = min ⁡ { δ : ( 1 − δ ) ∥ x ∥ 2 2 ≤ ∥ Φ x ∥ 2 2 ≤ ( 1 + δ ) ∥ x ∥ 2 2 } \delta_k = \min\{\delta : (1-\delta)\|x\|_2^2 \leq \|\Phi x\|_2^2 \leq (1+\delta)\|x\|_2^2\} δk​=min{δ:(1−δ)∥x∥22​≤∥Φx∥22​≤(1+δ)∥x∥22​}

Candès-Tao 定理建立了精确恢复的充分条件：如果 $\Phi$ 满足 ${\delta }_{2k}<\surd 2-1\approx 0.414$，那么每个 $k$-稀疏信号都可以通过 ${\ell }_1$ 最小化精确恢复。

互相干性（mutual coherence）提供了另一个重要的分析工具。对于归一化字典 $D$，互相干性定义为：

$$\mu (D)=\underset{1\le i<j\le p}{\max }|⟨d_i,d_j⟩|$$

Welch下界给出了互相干性的理论下限：

$$\mu (D)\ge \sqrt{\frac{p-n}{n(p-1)}}$$

当 $p>>n$ 时，下界近似为 $\mu (D)\ge 1/\surd n$。

基于互相干性的恢复定理：如果稀疏度满足 $\Vert x{\Vert }_0<(1+1/\mu (D))/2$，则 $x$ 是 ${\ell }_1$ 最小化的唯一解。这个条件虽然比 RIP 更保守，但便于验证。

Null Space Property (NSP) 提供了 ${\ell }_1$ 恢复的必要充分条件。矩阵 $\Phi$ 满足 $k$-阶 NSP，如果对于 $\Phi$ 的零空间中的任意非零向量 $\eta$，有：

$$\Vert {\eta }_S{\Vert }_1<\Vert {\eta }_{S^c}{\Vert }_1$$

其中 S 是任意大小为 k 的索引集，ηₛ 表示 η 在 S 上的限制。

稀疏信号的可恢复性还与测量矩阵的谱性质密切相关。Johnson-Lindenstrauss 引理保证：对于任意 $\epsilon \in (0,1)$，如果

$$m\ge O\left(\frac{\log N}{{\epsilon }^2}\right)$$

则存在线性映射 $f:R^N\to R^m$，使得对所有 $x$ 有：

$$(1-\epsilon )\Vert x{\Vert }^2\le \Vert f(x){\Vert }^2\le (1+\epsilon )\Vert x{\Vert }^2$$

这为压缩感知中随机测量矩阵的设计提供了理论指导。

压缩感知中的恢复算法

基追踪（Basis Pursuit）通过求解凸优化问题实现稀疏恢复。标准基追踪问题表述为：

$$\underset{x}{\min }\Vert x{\Vert }_1\text{subject to}Ax=b$$

当存在噪声时，问题转化为基追踪去噪（BPDN）：

$$\underset{x}{\min }\Vert x{\Vert }_1\text{subject to}\Vert Ax-b{\Vert }_2\le \epsilon$$

或其 Lagrangian 形式：

$$\underset{x}{\min }\frac{1}{2}\Vert Ax-b{\Vert }_2^2+\lambda \Vert x{\Vert }_1$$

这个问题可以通过内点法求解，其对偶问题为：

$$\underset{u}{\max }{b}^{T}u\text{subject to}\Vert A^{T}u{\Vert }_{\infty }\le 1$$

KKT（Karush-Kuhn-Tucker）条件给出了最优解的特征。设 $x\ast$ 是 BPDN 的最优解，则存在对偶变量 $u\ast$，使得：

$$A^T{u}^{\ast }+\lambda z^{\ast }=0$$

其中 $z\ast \in \partial \Vert x\ast {\Vert }_1$ 是 ${\ell }_1$ 范数的次梯度：

$$z_i^{\ast }=\{\begin{array}{ll}\text{sign}(x_i^{\ast })& \text{if }{x}_i^{\ast }\ne 0\\ [-1,1]& \text{if }{x}_i^{\ast }=0\end{array}$$

正交匹配追踪（OMP） 采用贪婪策略构建稀疏表示。算法的核心步骤包括：

1. 残差初始化：
   $r_0=y,{\Lambda }_0=\varnothing$
2. 原子选择：
   $$j_k=\arg \underset{j\notin {\Lambda }_{k-1}}{\max }|⟨r_{k-1},{\varphi }_j⟩|$$
3. 支撑集更新：${\Lambda }_k={\Lambda }_{k-1}\cup j_k$
4. 最小二乘解：
   $$x_{{\Lambda }_k}=\arg \min \Vert y-{\Phi }_{{\Lambda }_k}x{\Vert }_2^2$$
5. 残差更新：
   $$r_k=y-{\Phi }_{{\Lambda }_k}{x}_{{\Lambda }_k}$$

$OMP$ 的收敛性可通过残差能量的单调递减性质证明：

$$\Vert r_k{\Vert }_2^2=\Vert r_{k-1}{\Vert }_2^2-\frac{|⟨r_{k-1},{\varphi }_{j_k}⟩{|}^2}{\Vert {\varphi }_{j_k}{\Vert }_2^2}$$

这保证了 $\Vert r_k{\Vert }_2^2\le \Vert r_{k-1}{\Vert }_2^2$，算法单调收敛。

$OMP$ 的恢复保证与互相干性直接相关。如果真实信号的稀疏度满足：

$$\Vert x^{\ast }{\Vert }_0<\frac{1}{2}\left(1+\frac{1}{\mu }\right)$$

则 $OMP$ 能在 $\Vert x\ast {\Vert }_0$ 步内精确恢复 $x\ast$。

匹配追踪（MP） 是 $OMP$ 的简化版本，省略了正交化步骤。$MP$ 的原子选择策略相同，但系数更新采用简单的梯度下降：

$$x_{j_k}^{(k)}=x_{j_k}^{(k-1)}+⟨r_{k-1},{\varphi }_{j_k}⟩$$

$MP$ 的收敛速度可通过以下不等式估计：

$$\Vert r_k{\Vert }_2^2\le {\left(1-{\mu }^2\right)}^k\Vert y{\Vert }_2^2$$

其中 $\mu$ 是字典的相干性。这表明 $MP$ 以指数速度收敛，但比 $OMP$ 慢。

压缩采样匹配追踪（CoSaMP） 结合了贪婪选择和全局优化：

1. 支撑集估计：
   $$\Omega =\text{supp}({\text{HT}}_{2s}({\Phi }^{T}r))$$
   其中 $H{T}_k(\cdot )$ 是硬阈值算子，保留 $k$ 个最大分量。

2. 最小二乘求解：
   $$b{|}_T=\arg \min \Vert y-{\Phi }_{T}b{\Vert }_2^2$$

3. 稀疏化：
   $$x^{new}={\text{HT}}_s(b)$$

CoSaMP 的恢复保证为：如果 $\Phi$ 满足 RIP 条件 ${\delta }_{3s}<0.1$，则算法线性收敛：

$$\Vert x^{(k)}-x^{\ast }{\Vert }_2\le {\rho }^k\Vert x^{(0)}-x^{\ast }{\Vert }_2+\tau {\sigma }_s(x^{\ast }{)}_1$$

其中 $\rho <1$ 是收敛因子，${\sigma }_s(x\ast {)}_1$ 表示 $x\ast$ 的最佳 $s$-项逼近误差。

**迭代软阈值算法（ISTA）**通过迭代软阈值实现 ${\ell }_1$ 最小化：

$$x^{(k+1)}=S_{\lambda /L}(x^{(k)}-\frac{1}{L}{\Phi }^T(\Phi x^{(k)}-y))$$

其中 $L$ 是 ${\Phi }^T\Phi$ 的最大特征值，软阈值算子定义为：

$$S_{\tau }(z)=\text{sign}(z)\max (|z|-\tau ,0)$$

ISTA 的收敛率为 $O(1/k)$，而其加速版本 FISTA 达到最优的 $O(1/k^2)$ 收敛率。

两种基底系统的本质区别

正交基和过完备基的根本区别源于线性代数的基本理论。在 $n$ 维向量空间中，正交基恰好包含 $n$ 个线性无关的向量，构成空间的一组基底。给定信号 $x\in R^n$ 和正交标准基 ${{\phi }_i}_{i=1}^n$，表示系数唯一确定：

$$x=\sum _{i=1}^n⟨x,{\varphi }_i⟩{\varphi }_i$$

这种唯一性保证了变换的可逆性：$x=U^{T}Ux$，其中 $U$ 是正交矩阵，满足 $U^{T}U=U{U}^T=I$。

过完备基则突破了维数限制。字典 $D=[d_1,d_2,...,d_p]\in R^{nxp}$ 在 $p>n$ 时构成过完备表示。信号的表示变为欠定方程组：

$$x=D\alpha$$

当 $rank(D)=n$ 时，解空间是 $(p-n)$ 维的仿射子空间：

{ α : D α = x } = α 0 + null ( D ) \{\alpha : D\alpha = x\} = \alpha_0 + \text{null}(D) {α:Dα=x}=α0​+null(D)

其中 ${\alpha }_0$ 是特解，$null(D)$ 是 $D$ 的零空间。

计算复杂度的数学分析揭示了两种方法的根本差异。正交变换的分析复杂度为：

• 直接计算：$O(n^2)$ 次乘法运算
• 快速算法（FFT/FWT）：$O(nlogn)$ 次运算
• 存储需求：$O(n)$ 个系数

过完备方法的复杂度取决于求解策略：

• ${\ell }_1$ 最小化（内点法）：$O(p^3)$ 至 $O(p^{3.5})$ 次运算
• OMP：$O(knp)$ 次运算，其中 $k$ 是稀疏度
• 存储需求：$O(k+p\times n)$ 个参数

稀疏性与逼近误差的权衡体现了两种方法的本质差异。对于正交基展开：

$$\Vert x-x_N{\Vert }_2^2=\sum _{i=N+1}^{\infty }|⟨x,{\varphi }_i⟩{|}^2$$

其中 $x_n$ 是 $N$ 项截断。逼近误差直接依赖于系数的衰减速度。

过完备表示的逼近误差更加复杂。设 $x$ 的 $k$-稀疏逼近为 $\hat{x}$，则：

$$\Vert x-\hat{x}{\Vert }_2\le C\frac{{\sigma }_k(x{)}_1}{\sqrt{k}}$$

其中 ${\sigma }_k(x{)}_1$ 是 $x$ 的最佳 $k$-项逼近的 ${\ell }_1$ 误差，$C$ 是依赖于字典性质的常数。

Riesz 基理论为两种方法提供了统一的数学框架。序列 ${x_i}_{i=1}^{\infty }$ 构成 Riesz 基，如果存在常数 $0<A\le B<\infty$，使得：

$$A\sum _{i=1}^{\infty }|c_i{|}^2\le {\Vert \sum _{i=1}^{\infty }{c}_i{x}_i\Vert }^2\le B\sum _{i=1}^{\infty }|c_i{|}^2$$

对所有有限序列 $c_i$ 成立。当 $A=B=1$ 时，Riesz 基退化为正交基。

条件数分析揭示了数值稳定性的差异。正交矩阵的条件数恒为 1：

$$\kappa (U)=\frac{{\sigma }_{\max }(U)}{{\sigma }_{\min }(U)}=1$$

过完备字典的条件数通常远大于 1。对于框架 $D$，条件数为：

$$\kappa (D)=\sqrt{\frac{B}{A}}$$

其中 $A,B$ 是框架常数。大的条件数意味着对噪声的敏感性增加。

信息论观点进一步阐明了差异。正交变换保持信息量：

$$I(x)=I(Ux)=-\sum _{i=1}^n{p}_i\log p_i$$

其中 $p_i$ 是概率分布。过完备表示则可能增加信息冗余度：

$$R=\frac{p}{n}-1$$

这种冗余度使得系统对部分信息丢失具有鲁棒性。

稳定性分析通过扰动理论比较两种方法。对于正交基，系数扰动与信号扰动同尺度：

$$\Vert \delta c{\Vert }_2=\Vert \delta x{\Vert }_2$$

过完备情况下，扰动放大取决于字典的条件数：

$$\Vert \delta \alpha {\Vert }_2\le \kappa (D)\Vert \delta x{\Vert }_2$$

这表明过完备方法在噪声环境下可能表现不稳定，需要正则化技术来改善性能。

量子力学中的不确定性原理为两种方法提供了物理直觉。时域和频域的同时精确测量受到基本限制：

$$\Delta t\cdot \Delta \omega \ge \frac{1}{2}$$

正交基（如傅里叶基）在频域极度精确，但时域分辨率为零。小波等过完备系统通过牺牲正交性获得了时频折衷，体现了测不准原理在信号处理中的表现。