[论文学习]2——Variable-Wise Weighted SAE (VW-SAE) 可变量加权堆栈自编码器

 

《Deep Learning-Based Feature Representation and Its Application for Soft Sensor Modeling With Variable-Wise Weighted SAE》
论文地址：https://ieeexplore.ieee.org/document/8302941

本文将论文的第二部分 II.DEEP LEARNING AND SAE 进行了学习，更准备的说应该是翻译了一遍。该文主要是为了方便自己毕设的学习和理解。

在翻译过程中学习VM-SAE由来的思想。
 

目录

A.可变加权AE（VW-AE）

B.可变加权SAE（VW-SAE）

C.基于VW-SAE的软测量

 

分层预训练可以帮助深度学习从低级别的数据中提取高级特征。因此，它可以通过层次结构在更高层次上学习更复杂和抽象的特征。然而，对于软测量应用，由于无监督的预训练机制，这些特征可能包含许多与目标输出无关的信息。为了解决这个问题，我们引入了监督和半监督预训练策略被用在更好的通过VW-SAE模型逐层提取相关特征。新的深层网络由多层可变加权AE（VM-AE）组成。因此，我们首先描述VW-AE模型。

A.可变加权AE（VW-AE）

分层预训练用于为SAE提供良好的初始权重。这是通过最小化整个输入空间上的训练样本的重建误差实现的。然而，进一步考虑图1 中的AE。在原始的AE中，它的目的是在输出层重建输入数据。换句话说，重建的x~ 应尽可能的与原始的x相似。因此，在整个dx维度内应该最小化重建误差||x-x~||^2。如果我们在每个维度上展开这个术语

很容易看出，每一个变量的重建都应该保持准确为了保持整个重建误差小。对于软测量应用，并非所有变量都与目标输出相关。此外，不同的变量对目标变量的影响也不同。虽然变量向量的某些维度元素与输出变量的关系可能很小，但它们在AE的重建中仍然与其他维度变量起着相同的作用。因此，该变量的维度也应该被准确地重建。然后，提取的隐藏特征具有与输出预测无关的信息。由于预训练是逐层进行的，因此该变量的信息被前向传播到高级特征层。因此，在这些高级特征中存在无关信息。这主要是由输入的无监督重建引起的。

一个合理的AE应该更加重要在提取与输出预测高度相关的特征。因此，对于那些与输出相关的变量的重建应该更加准确，反之亦然。为此，有必要在重建对象中对变量的不同维度赋予不同的权重。因此，基于AE模型变量权重被计算。为了训练VW-AE，应首先使用标记数据来获得可变权重。假设标记的训练数据为,其中是标记样本的数量。变量的重要性由它们与目标变量的相关性决定。因此，通过标记数据计算第d个变量的相关系数

其中标记数据的第d个变量的集合集，也就是说