信号分析浅谈2

一切学问在实际应用时，都会遇到控制（或利用）自由度的问题。至少在我稍有接触的几个领域——机器学习（直说统计学也无妨）、通信、信号分析中，这条规律都适用。

前一篇说到时域自由度和频域自由度是一对矛盾：给时域越小的自由度，频域就必定有越大的自由度。不管是直接在时域分析还是用傅里叶变换分析，都太过极端。小波分析应运而生，可以按需求调节频域和时域的分辨率，得到了“数学显微镜”的美誉。这里稍微说一句为什么我不提短时傅里叶变换和分数阶傅里叶变换：前者几乎可以看成是小波分析的一种特例（时窗宽度和频窗宽度都固定），后者则仅适用于chirp信号的分析。

这篇日志也是谈自由度的，但讨论的是信号分析中的另一种自由度，它涉及到压缩和降噪。前一篇利用的数学工具是框架，或说基函数，而这篇主要用到了级数。首先让我们回顾一下最常见的幂级数（泰勒级数）：

我们知道任意一个解析函数都可以用幂级数展开，并取前若干项作为近似。从这个公式可以看出，利用级数表示本质上也是把信号在某种基函数上展开，但级数还包含了另一种意味——信号的大部分能量存在于级数的前N项之中，这保证了取前N项作为近似的合理性。同样地，用傅里叶级数展开一个函数也是同样的道理——试图用少量几个正弦型函数的加权和来近似表示一个信号。

既然一个函数（连续函数本质上有无穷多项）可以用少量几项来近似，那么是不是可以抛弃掉不重要的项，只留下有用的项呢？这就是压缩的基本思想，即尽量减少信号的自由度，使其和信号的有效自由度相符。想象有一个表示图像的信号，其中一大半都是白色的。写成矩阵的形式后，是一个稀疏矩阵

对于这个信号，可以把右半部分的零分量全部抛弃从而实现压缩，这是很自然的。实际存在的信号很少有真正稀疏的，但可以通过在一个基上把信号展开，使信号在这个基上稀疏。设过渡矩阵是一个可逆线性变换T，那么在把零分量抛弃之后就可以通过做T的逆变换来近似原信号。这里可以看出前一篇中提到的框架紧性的重要性——容易构造对偶框架的框架才方便信号处理。

上述思想虽然极其简单，但确实有直接应用这个思想的压缩方法，连变换域的工作都没有做。这就是著名的K-L变换，喜欢统计学的同学可能更熟悉另外一个名字——主成分分析。虽然我在这个系列的日志里尽量不写公式，但这个变换的推导实在太美了，我觉得还是附上为好。不喜欢的话可以跳过。

KL PROC; K-L变换推导开始

K-L变换面对的基本问题是：有一个向量表示的离散信号X，我们想用维数更低的向量来表示它。如何构造一个可逆线性变换T，使得低维向量表示在均方误差的意义上是最优的？首先假设信号具有零均值，如果没有均值不为零当然可以先减去均值再压缩。设有一个单位向量q，它代表最优投影方向，X在这个方向上的投影A的误差最小。现在基本问题就转化成了如何寻找单位向量q的问题，这个问题可以描述如下

由于信号X有零均值，投影A也具有零均值。因此A的方差就等于它对应的均方误差，可以表示如下

其中E(XX^T)就是信号X的自相关矩阵。由于均方误差只和投影方向q有关，给它一个名字

由于q是最优投影方向，均方误差psy(q)在q点处的一阶导数为零。所以如果在q点加一个小扰动deltaq，只要取一阶泰勒近似，就还等于psy(q)

而将psy(q+deltaq)展开，有

省略最后的二阶项，可以得到

由于q是单位向量，deltaq的加入不能让q的模长改变，因此deltaq必然和q正交。也即

综合上两式，有

这说明最优投影方向q恰好是信号X自相关矩阵R的特征向量！只要对自相关矩阵R做特征值分解，并取前N大的特征值，其他分量置为零，即可实现对信号的压缩。

KL ENDP; K-L变换推导结束

有了K-L变换的例子，我们对“只取前N项做近似”的普适性可能有了更深的理解。但为了实现这一目标，必须要构造好的基函数，这是个艰难的任务。K-L变换中用自相关矩阵的特征向量作为基函数，这件事的时间复杂度是O(N^3)，空间复杂度也有O(N^2)，实在让人难以接受（用Hebbian learning能降低一点复杂度）。回头看看熟悉的傅里叶变换，虽然有快至O(nlogn)的快速算法，但对于存在第一类间断点的函数，又会发生Gibbs现象。这实际上是近似失败，说明复指数函数基不适用于这类函数的展开。为什么构造基函数这么难？以傅里叶级数为例，它使用的复指数函数基是解析函数。而具有第一类间断点的函数，不用说根本不解析，连一阶导数都没有。因此要逼近的函数与基函数极度不相似，这使得取有限项级数不可能无损恢复原信号。这一原则可以总结为“越相似收敛越快”，也可以用“基函数代表一种先验知识”来理解：在傅里叶级数的眼中，一切函数都长得像复指数函数。

既然信号的有效自由度很低，那当初为什么要浪费宝贵的采样资源来做如此不惜代价的采样？能不能当初就少采样？这一思想促生了压缩传感(compressive sensing)理论。这一理论不是将先验信息融入到基函数的构造工作当中去，而是事先找到使信号系数的基，只做很少的几次采样（这个采样不是一般意义上的采样，这也是压缩传感在实际应用中遇到的困难之一），将“信号在这个基下稀疏”的先验知识融入到信号重建的过程中去。压缩传感的理论涉及到太多深奥的数学，在此就不作过多论述了。

说完了压缩，降噪几乎就是一句话的事情。刚才说到压缩的本质是利用对信号的先验知识，选取适当的基函数使信号在这个基下稀疏，而且越稀疏越好。降噪则是在这个条件的基础上，给基函数加了更强的条件：在这个基下，噪声和信号可以较好地分离。事实上由于信号稀疏，即使对于较难分离的白噪声，只要抛弃信号中不重要的项，就相当于抛弃了大多数的噪声能量，也就实现了降噪。

总而言之，压缩和降噪都可以用级数展开来表述。将信号展开的基函数本身代表了一种对信号的先验知识，基函数和信号越相似，就可以取越少的级数项来近似表示信号。信号和噪声在基函数下的投影如果有明显的不同，这个基函数还可以用于降噪。顺便提一句，这个性质也是盲源分离的基础。