weixin_51245701的博客

原创 SAE原理

其中，公式（2-4）和（2-5）计算了与输出单元中的参数有关的损失函数梯度。公式（2-6）和（2-7）计算隐藏单元中的参数的损失函数梯度。方程如SAE也被称为自动编码器，它增加了自动编码器的层数，通过多次降维，具有强大的特征提取能力。如图5所示，瓶颈结构在AE中起着至关重要的作用，它可以迫使原始输入以压缩内容的形式出现，试图找到一个能够反映数据性质的合适特征。在BP中，最终目标是找到与输出和隐藏单元中的参数有关的梯度或损失函数的偏导，这可以通过使用以下链式规则来获得。b2和W2分别为解码器的偏置项和权重。