Deep Robust Encoder Through Locality Preserving Low-Rank Dictionary

深度鲁棒编码器（Deep Robust Encoder, DRE），通过局部性保留低秩字典，来提取鲁棒的、辨别力的特征，同时优化一个低秩的字典和约束的深度自编码器。首先，在输出层设计一个新的损失函数，一个干净的低秩的字典，和对应的权重包含局部信息，使得重建过程无噪声。其次，判别性的图约束保留了数据的局部几何结构，引导每一个编码层的深度特征学习。

 

两个具体步骤：

Locality Preserving Low-Rank Dictionary Learning

传统的自编码器（AE）：

加入低秩字典后的AE:

为了避免数据过拟合，加入图约束。

最后总的函数：

 Deep Architecture

现有的AE包括：Stacked Auto-Encode和深度自编码器

假设 L 个编码层和 L 个解码层，最小化误差函数写为：

其中 x¯i是经过一系列编码和解码之后的 xi对应的输出。{Wl,bl},(1≤l≤L) 是编码层的参数，{Wl,bl},(L+1≤l≤2L){Wl,bl}是解码层的参数。第三项是将每一个编码层的图约束求和，引导输出层的局部低秩字典学习。

总结:基于自编码器进行设计，在自编码器基础上加上低秩字典，结构上加入多层的设计。