【ZJU-Machine Learning】自编码器

提出

2006年是深度学习的起始年，Hinton在SCIENCE上发文，提出一种叫做自动编码机（Auto-encoder）的方法，部分解决了神经网络参数初始化的问题。

概念

参考：https://www.cnblogs.com/royhoo/p/Autoencoders.html

自编码器是一种能够通过无监督学习，学到输入数据高效表示的人工神经网络。输入数据的这一高效表示称为编码（codings），其维度一般远小于输入数据，使得自编码器可用于降维（特征提取器）。更重要的是，自编码器可作为强大的特征检测器（feature detectors），应用于深度神经网络的预训练。此外，自编码器还可以随机生成与训练数据类似的数据，这被称作生成模型（generative model）。比如，可以用人脸图片训练一个自编码器，它可以生成新的图片。

自编码器通过简单地学习将输入复制到输出来工作。这一任务（就是输入训练数据， 再输出训练数据的任务）听起来似乎微不足道，但通过不同方式对神经网络增加约束，可以使这一任务变得极其困难。比如，可以限制内部表示的尺寸（这就实现降维了），或者对训练数据增加噪声并训练自编码器使其能恢复原有。这些限制条件防止自编码器机械地将输入复制到输出，并强制它学习数据的高效表示。简而言之，编码（就是输入数据的高效表示）是自编码器在一些限制条件下学习恒等函数（identity function）的副产品。

一个自编码器接收输入，将其转换成高效的内部表示，然后再输出输入数据的类似物。自编码器通常包括两部分：encoder（也称为识别网络）将输入转换成内部表示，decoder（也称为生成网络）将内部表示转换成输出

正如上图所示，自编码器的结构和多层感知机类似，除了输入神经元和输出神经元的个数相等。在上图的例子中，自编码器只有一个包含两个神经元的隐层（encoder），以及包含3个神经元的输出层（decoder）。输出是在设法重建输入，损失函数是重建损失（reconstruction loss）。

由于内部表示（也就是隐层的输出）的维度小于输入数据（用2D取代了原来的3D),这称为不完备自编码器（undercomplete autoencoder）。

训练步骤

训练如下网络：

步骤1：先训练这个网络：（使用BP算法）
这个就是自编码器

步骤2：训练好第1层后，接着训练第二层：

第二层的输入并不是x，前一层输出的x被替换成了x1（下一层的输入）

步骤M：以此类推，训练好第M-1层后，接着训练第M层。

最后用BP对网络进行微调

这样，在训练后面的参数时，前面已经训练的参数被固定住了。
此外，通过自动编码机，进行了降维，有利于提高训练效率。

matlab代码讲解

1、test_for_dnn.m

…数据准备… (略)
%create a net
dnn = nn_create([784,400,169,49,10]);

% train
dnn = dnn_train(dnn,train_x,train_y);
%adjust
dnn = dnn_adjust(dnn,train_x,train_y);
%test
[wrongs,success_ratio,dnn] = nn_test(dnn,test_x,test_y);

2、function dnn = dnn_train(dnn,train_x,train_y)

… 设置BATCH SIZE 等参数… (略)
    for k = 1 : numel(dnn.size)- 2
        sae = sae_create([dnn.size(k),dnn.size(k+1)]);
        sae = sae_train(sae,option,train_x);
        dnn.W{k} = sae.W{1};
        dnn.b{k} = sae.b{1};
        sae = nn_predict(sae,train_x);
        train_x = sae.a{2}';
    end
    k = k + 1;
    nn = nn_create([dnn.size(k),dnn.size(k+1)]);
    nn = nn_train(nn,option,train_x,train_y);
    dnn.W{k} = nn.W{1};
    dnn.b{k} = nn.b{1};
end

3、 function sae = sae_create(SIZE)

 sae = nn_create([SIZE(1),SIZE(2),SIZE(1)]);

4、function sae = sae_train(sae,option,train_x)

   sae.encoder = 1;
    sae = nn_train(sae,option,train_x,train_x);
end