浅析 K-L 变换

浅析 K-L 变换

前言

K-L 转换(Karhunen-Loève Transform)是建立在统计特性基础上的一种转换，它是均方差(MSE, Mean Square Error)意义下的最佳转换，因此在资料压缩技术中占有重要的地位。

K-L 变换的本质就是一个线性变换

$$\mathbf{y}={\mathbf{U}}^T\mathbf{x}$$

K-L 变换的目的: 对输入的向量 x，做一个正交变换，使得输出的向量得以去除数据的相关性

原理简述

设 x = { x 1 , x 2 , ⋯   , x n } \mathbf{x} = \{x_1,x_2,\cdots,x_n\} x={x1​,x2​,⋯,xn​}为$n$维随机向量

为了找到 K-L 变换矩阵$U$，令

$$\mathbf{y}={\mathbf{U}}^T\mathbf{x}$$

我们希望新向量$\mathbf{y}$的各个分量是独立的，因此有

$$E(y_i{y}_j)=0,i\ne j$$

可以计算$y$的相关系数矩阵$R_y$

$$\begin{array}{rl}{R}_y=E(\mathbf{y}{\mathbf{y}}^T)& =E({\mathbf{U}}^T\mathbf{x}{\mathbf{x}}^T\mathbf{U})\\ & =E({\mathbf{U}}^T{R}_x{\mathbf{U}}^T)\end{array}$$

显然$R_x=E(\mathbf{x}{\mathbf{x}}^T)$是对称矩阵，因此它的特征向量是相互正交的，若将$U$的列向量置为$R_x$的特征向量，此时$R_y$可以转换成对角矩阵。

$$R_y=E(\mathbf{y}{\mathbf{y}}^T)=E({\mathbf{U}}^T{R}_x{\mathbf{U}}^T)=\Lambda$$

将相关函数矩阵对角化，即通过 K-L 变换消除原有向量$\mathbf{x}$的各分量间的相关性，从而有可能去掉那些带有较少信息的分量以达到降低特征维数的目的。

$$R_y=\Lambda =\left[\begin{array}{ccc}{\lambda }_1& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & {\lambda }_n\end{array}\right]$$

{% note info no-icon %}
K-L 变换的产生矩阵由数据的二阶统计量决定，即 K-L 坐标系的基向量为某种基于数据 $x$ 的二阶统计量的产生矩阵的特征向量

K-L 变换的产生矩阵可以有多种选择：

1. $\mathbf{x}$的相关函数矩阵: $R=E(\mathbf{x}{\mathbf{x}}^T)$
2. $\mathbf{x}$的协方差矩阵: $C=E((\mathbf{x}-\mu )(\mathbf{x}-\mu {)}^T)$
3. 样本总类内离散度矩阵: $S_w=\sum P_i{\Sigma }_i$

{% endnote %}

离散 K-L 变换实现

设 x = { x 1 , x 2 , ⋯   , x n } \mathbf{x} = \{x_1,x_2,\cdots,x_n\} x={x1​,x2​,⋯,xn​}为$n$维随机向量，$\Omega$是来自$M$个模式类的样本集，总样本数为 $N$。

利用 K-L 变换将$\mathbf{x}$变成$d$维。

step 1. 计算样本集$\Omega$的相关系数矩阵$R$;

$$R=E(\mathbf{x}{\mathbf{x}}^T)\approx \frac{1}{N}\sum _{i=1}^N{\mathbf{x}}_i{\mathbf{x}}_i^T$$

step 2. 计算$R$的特征值${\lambda }_i(i=1,2,\cdots ,n)$，选择前$d$个较大值;

step 3. 计算$d$个特征值对应的特征向量$u_i(i=1,2,\cdots ,n)$，并归一化;

$$U=[u_1,u_2,\cdots ,u_d]$$

step 4. 对$\Omega$中的每个向量进行 K-L 变换;

$$\mathbf{y}=U^T\mathbf{x}$$

简单示例

{% note modern %}

两个模式类的样本分别为

$$w_1:{\mathbf{X}}_1=[2,2{]}^T,{\mathbf{X}}_2=[2,3{]}^T,{\mathbf{X}}_3=[3,3{]}^T$$

$$w_2:{\mathbf{X}}_4=[-2,-2{]}^T,{\mathbf{X}}_5=[-2,-3{]}^T,{\mathbf{X}}_6=[-3,-3{]}^T$$

利用自相关矩阵$R$作 K-L 变换，把原样本集压缩成一维。

{% endnote %}

解: 第一步: 计算样本集的自相关矩阵$R$。

$$R=E(\mathbf{X}{\mathbf{X}}^T)=\frac{1}{6}\sum _{i=1}^6{\mathbf{X}}_i{\mathbf{X}}_i^T=\left[\begin{array}{cc}5.7& 6.3\\ 6.3& 7.3\end{array}\right]$$

第二步: 计算$R$的特征值$\lambda$，选择较大值。由$|\lambda E-R|=0$得

$${\lambda }_1=12.85,{\lambda }_2=0.15$$

第三步: 根据$R{\mathbf{u}}_1={\lambda }_1{\mathbf{u}}_1$计算${\lambda }_1$对应的特征向量${\mathbf{u}}_1$，并归一化

$${\mathbf{u}}_1=\frac{1}{\sqrt{2.3}}[1,1.14{]}^T=[0.66,0.75{]}^T$$

变换矩阵为

$$U=[{\mathbf{u}}_1]=\left[\begin{array}{c}0.66\\ 0.75\end{array}\right]$$

第四步: 利用$U$对样本集中的每个样本进行 K-L 变换

$$X_1^{\ast }=U^T{X}_1=\left[\begin{array}{cc}0.66& 0.75\end{array}\right]\left[\begin{array}{c}2\\ 2\end{array}\right]=2.82$$

变换结果为:

$$w_1:{\mathbf{X}}_1^{\ast }=2.82,{\mathbf{X}}_2^{\ast }=3.57,{\mathbf{X}}_3^{\ast }=4.23$$

$$w_2:{\mathbf{X}}_4^{\ast }=-2.82,{\mathbf{X}}_5^{\ast }=-3.57,{\mathbf{X}}_6^{\ast }=-4.23$$