K-SVD算法

K-SVD算法

• 算法简介
  
  1. K-SVD可以看做K-means的一种泛化形式(由K-means扩展而来)，K-means算法中每个信号量只能用一个原子来近似表示，而K-SVD中每个信号是用多个原子的线性组合来表示的。
  2. K-SVD通过构建字典来对数据进行稀疏表示，经常用于图像压缩、编码、分类等应用。

---

主要问题

$$Y = DX$$
其中 $Y \in R(n*N)$, $D \in R(n*K)$, $X \in R (k*N)$, $N$是样例数, $n$是特征在字典中每一个Word的维度, $K$是在训练字典中系数(原子的数量)的长度.

$Y$为要表示的信号, $D$为超完备矩阵(列数大于行数), $X$为稀疏矩阵, $X$与$Y$按列对应, 表示 $D$中元素按照$X_{i}$为系数线性组合为 $Y$, 我们的目的就是找到让$X$尽量稀疏的 $D$.
$$\min\limits_{D.X}{||Y-DX||^{2}_{F}} \qquad s.t \quad\forall i, ||x_{i}||_{0} \leq T_{0}$$
$$\min\limits_{D.X}{||x_{i}||_{0}} \qquad s.t \quad ||Y-DX||^{2}_{F} \leq \varepsilon$$
(其中第一个函数的意思是指求矩阵 $Y-DX$的F范数即矩阵中所有元素的绝对值平方再开方)(第二个式子是求 $x_{i}$的0范数即计算向量之中非零元素的个数. 范数)上述式子的本质上是相通的, 只是表述形式上不一样. 由于寻找最优解(X最稀疏)是NP难的问题, 因此用追逐算法(Pursuit Algorithm)得到的次优解代替. (MP, OMP, BP, FOCUSS)

算法求解

给定训练数据后一次找到全局最优解的字典为NP难的问题, 只能逐步逼近最优解. 构造D算法分为两步: 稀疏表示和字典更新

稀疏表示

首先设定一个初始化的字典, 用该字典对给定数据进行稀疏表示(即用尽量少的系数尽可能近似的表示数据)得到系数矩阵$X$. 此时, 应该把$DX$看成$D$中每列与$X$中每行乘积的和, 也就是把$DX$分片, 即:

$$DX = \sum\limits_{i=1}^{K}d_{i}x_{i}$$
$d_{i}$表示 $D$的列, $x_{i}$表示 $X$的行, 然后逐片优化.

字典更新

初始字典往往不是最优的, 满足稀疏性的系数矩阵表示的数据和原数据会有较大误差, 我们需要在满足稀疏度的条件下逐行逐列更新优化, 减少整体误差, 逼近可用字典. 剥离字典中第$k(1-k)$项 $d_{k}$的贡献, 计算当前表示误差的矩阵:

$$E= Y-\sum \limits_{i \neq k} d_{i} x_{i}$$
误差值为
$$E_{n} = ||E||_{F}^{2}$$
上式可以看做把第 $k$个基分量剥离后, 表达中产生空洞, 如何找到一个新基, 以更好地填补这个洞, 就是SVD方法的功能所在, 当误差值稳定的时候字典基本收敛.

求解流程

K-SVD是一个迭代的过程. 首先, 假设字典$D$是固定的, 用MP, OMP, BP等算法, 可以得到字典 $D$上, $Y$的稀疏表示的系数是矩阵 $X$, 然后让$X$固定, 根据 $X$更新字典$D$, 如此循环直到收敛为止.

字典D的更新是逐列进行的. 首先假设系数矩阵X和字典D都是固定的, 将要更新的是字典的第k列$d_{k}$, 系数矩阵X中$d_{k}$对应第k行为$x_{T}^{k}$, 则

$$||Y-DX||^{2}_{F} = ||Y-\sum\limits_{j=1}^{k}d_{j}x_{T}^{j}||^{2}_{F}\\ = ||(Y-\sum\limits_{j\neq k}^{k}d_{j}x_{T}^{j}) - d_{j}x_{T}^{k}||^{2}_{F}\\ = ||E_{k} - d_{k}x_{T}^k|| ^{2}_{F}$$
得到当前误差矩阵 $E_{k}$后, 我们只要调整 $d_{k}$和 $x_{k}$, 使其乘积与 $E_{k}$的误差尽可能小.
对于上面的问题, 如果直接用 $E_{k}$的SVD分解结果来更新 $d_{k}$和 $x_{k}$则会导致 $x_{k}$不稀疏, 出现”发散”. 换句话说, $x_{T}^{k}$中非零位置乘积后的那些项
. 形成 $E_{R}^{k}$, 将 $E_{R}^{k}$做SVD分解, 更新 $d_{k}$.
具体如下:

算法流程

参考:
1. http://blog.csdn.net/chlele0105/article/details/16886795
2. K-SVD: An algorithm fordesigning overcomplete dictionaries for sparse representation (IEEE Trans. OnSignal Processing 2006)
3. http://home.ustc.edu.cn/~zywvvd/files/K-SVD.pdf
4. http://blog.csdn.net/cc198877/article/details/9167989