K-L展开 (Karhunen-Loeve expansion)

K-L变换, 是一种常用的正交变换,用于数据压缩与降维.

---

正交变换是什么意思?

以下面的波形为例:

这个波形是由一个低频(红线)和一个高频(绿线)波形组合而成:

我们希望通过变换将这两种波形分解出来;
正交变换指的是,当我们希望分析出某种频率的成分,通过正交变换,分析出的成分中不会混杂有其它频率的成分.

---

如何实现正交变换?

假设有一组正交基:

$$u_i^{T}u_j=1, i=j$$ $$u_i^{T}u_j=0, i\neq j$$
对任意信号 $x$有
$$x=\sum_{i=1}^{\infty}{ c_i u_i}$$

则实现了正交变换,将$x$转换为$c_1,c_2......$

---

K-L展开?

对于$D$ 维训练样本集(原始特征空间),通过正交变换,将特征空间降到$d(d<D)$ 维的过程,K-L展开对信号的损失最小,即为最佳的正交变换.

设信号$x$为D 维,那么通过正交变换,我们希望只找到其中最重要的$d$个$c$, 而把其它的丢掉

$$\hat x=\sum_{i=1}^{d}{ c_i u_i}$$

为了保证信号损失最小即

$$\hat x=\arg\min_{u_i} E\parallel x-\hat x\parallel^2$$
经过具体计算

从而需要解决优化问题

$$\hat x=\arg\min_{u_i} \xi$$
s.t.
$$u_i^{T}u_j=1, i=j$$ $$u_i^{T}u_j=0, i\neq j$$
记 $A=E(xx^{T})$, 则正交基 $u_i$满足
$$Au_i=\lambda_i u_i$$

也就是说$u_i$是$A$的特征向量, 所以我们取前d个最大的特征值对应的特征向量进行展开即可.

这个过程与主成分分析-PCA很相似.

---

K-L展开的性质?

变换后的特征不相关

$$E(c_i,c_j)=E[u_i^{T}xx^{T}u_j]=\lambda_i \delta_{ij}$$

---

任意$x$ 都可以进行正交变换吗?

是的,对任意内积空间中的$x$都可以进行正交变换.
关于内积空间参考再生核希尔伯特空间1—希尔伯特空间