linear Decoder （线性自动稀疏编码）

一、简介

 稀疏自编码包含3层神经元，分别是输入层，隐含层以及输出层。自编码网络中的神经元采用的是相同的激励函数（S型函数）。

 S型函数的输出范围是[0,1]，当神经元采用S型函数时，其输出范围也在[0,1]内；由于输出范围在0和1之间，这就要求采用自码时，对输入数据进行限制或者放缩，使其范围也在0和1之间。一些数据集，比如mnist，能很方便的将输出放缩到0和1之间；但是很难满足对输入值的要求。比如，经过PCA白化处理后的数据就不满足0和1这个范围。

 在线性解码中，我们在某些神经元采用不同的激励函数；网络的隐含层依然使用S型函数，而其输出层采用恒等函数即a=f(z)=z，由于其具有线性性质，又称为线性激励函数。

一个 S 型或 tanh 隐含层以及线性输出层构成的自编码器，我们称为线性解码器。

其网络结构：

   

 因为输出a3，即x_^,是隐单元激励输出的线性函数，改变W_2，就可以使a3缩放到相应的范围。这可以使得我们用实际值输入来训练自编码器，避免预先缩放样本给定