Deep Dictionary Learning 和 Discriminative Robust Deep Dictionary Learning for Hyperspectral Image

之前人们所研究的算法都是针对单层字典学习（浅层字典学习），然而我们知道深层模型具有更抽象、更牛逼的表征能力。既然单层自编码对应的DL模型“栈式自编码”；RBM也有对应的DL模型“深度信念网络”；于是文献借助于这思想，也提出了单层字典学习的对应DL算法：深度字典学习。

单层字典学习：X=DZ

多层字典学习：X=D1*D2*Z

(1)我们首先训练学习出第一层特征Z1、权重D1：

X=D1*Z1

(2)然后对特征Z1进行分解，求解第二层权重D2、特征Z2：

Z1=D2*Z2

以此类推，就可以实现更深层的字典学习。

目标函数：

是2中方法的扩展论文，针对高光谱问题

在DDL中，基本思想是以贪婪的方式学习字典的多个级别，即，第一个级别学习标准的字典和系数。在后续级别中，前一级的系数充当字典学习的输入。尽管它产生的结果比众所周知的深度学习工具要好，但仍有改进的空间。标准字典学习基于最小化欧几里得范数；当噪声是高斯噪声时，这是最佳选择。高斯和稀疏噪声的混合会破坏高光谱图像。

Euclidean norm：高斯噪声.  L0 norm: 稀疏噪声。L1 norm :两者都有

 

文中：增加了鉴别惩罚。词典的最后一级映射到目标标签。通过学习map，我们可以在DDL框架内进行分类

目标函数：、

与上文的区别，第一项使用了L1范数。

在加入鉴别项：

T：标签；W: 最深表示层到目标的判别线性映射