WDK李宏毅学习笔记第十一周01_Unsupervised Learning: Deep Auto-encoder

Unsupervised Learning: Deep Auto-encoder

---

摘要

我们在对model进行训练时，当model复杂时，如果只是用随机值对参数进行初始化，这样往往模型训练时间很长，Auto-encoder就可以对模型进行预训练，得到好的模型初始化的参数。Auto-encoder还可以对数据进行降维处理，且降维后的数据可以很完整的保留原始数据的信息。本章将会介绍Auto-encoder的原理以及在CNN、DNN等各个方面的应用。

---

1、Deep Auto-encoder

1.1 Auto-encoder思想

input 一个图片，通过Encoder变成一个低维的code，低维的code通过Decoder输出该图片，要求input和输出的图片越接近越好，最后得到的code就是该input图片的降维结果。

1.2 Deep Auto-encoder思想

在Auto-encoder的基础上，使用多层neural构成的Encoder和Decoder(如下图)，就可以得到Deep Auto-encoder，如果想让neural训练时间减少，可以让Encoder和Decoder的参数矩阵互为转置，这样可以减少一半的参数。

1.3、Deep的优势

如下图右上角用的是Auto-encoder，最后输出的图片相比输入是不清晰的，也就是说输入的图片经过降维后的编码是没办法再完全还原出原来图片的很多信息的。而最下面使用Deep Auto-encoder，最后输出的图片还是很清晰的，也就是说得到的低维code是还是比较完整的保留了原始图片信息。

2、应用

2.1 Auto-encoder—Text Retrieval

首先将每一篇文章都用一个vector表示，我们需要做的的是输入一个查询词汇，machine就会输出与该词汇距离最近的文章。词汇的表示方法最基础的就是用Bag-of-word。

但是用Bag-of-word表示是没办法保留词汇之间的联系信息，所有我们可以用Auto-encoder对Bag-of-word处理一下，将其维度压缩成二维，就可以根据距离和密度找到word之间的联系了。

2.2 Auto-encoder—Similar Image Search

最简单的方法就是之间用image的像素计算image之间的相似性，但这样往往得不到好的结果，只是机器的寻找相似性。如下图，就是用该方法，找到的其他图片与第一张图片相似的图片。

在以图搜图的问题上，我们也是可以用Deep Auto-encoder，将一张图片变成一个code，在code上去计算相似度寻找图片。如下图，就是用第一张图去搜图找到的结果，可以发现，找到的图都是人脸了，说明该结果相比上个方法更好。

2.3 Auto-encoder-Pre-training DNN

对model中参数初始化，选取的值不好时，训练所需要耗费的时间资源都会比较大，结果有时候也不是最优的。Auto-encoder就可以较好的解决参数初始化的问题。Auto-encoder在对模型进行Pre-training的步骤如下：

1. 预训练得到第一层的参数w1。构建一个Auto-encoder，我们希望的是784维的input经过升维后得到的1000维能够经过降维处理又变回784维，也就是说希望1000维的code能正确的保持input的信息。
2. 固定住w1，构建另一个Auto-encoder，这个Auto-encoder做的事情就是找到一个w2，将1000维的code转变维另一个1000维的code2，该code2能正确的保持code中的信息。
3. 固定住w1,w2，继续按上面的方法对model继续进行预训练，得到所有层的预训练参数，这些预训练参数就是model初始化的参数。
   
   

2.4 Auto-encoder for CNN

Auto-encoder在CNN中没有本质区别，不同点就是encoder在CNN需要用到卷积和池化，所以decoder中就必须使用反卷积和反池化。

2.4.1 CNN Unpooling(反池化)

CNN的常用的是最大值池化，在Unpooling时，常用的方法有：

1. 记住池化时的位置，Unpooling时将池化位置用最大值填充，其他位置补0。
2. 反池化时，不用记住位置，直接全部用最大值填充。
   

2.4.2 CNN Deconvolution(反卷积)

Deconvolution就是Convolution。如下图Convolution做的事情是左边的事，Deconvolution就是对做完Convolution的值做填充补0，也就是如下图右边做的事情，和Convolution是一样的。

方法

1. Auto-encoder在降维处理的方法就是train一个model，该model用encoder将data降维变成一个低维的code，希望code通过decoder升维能够较完整的还原出原本的数据。最后得到的code就是降维后的结果。
2. Auto-encoder在以图搜图上采用的方法就是将所有图片经过降维处理变成code，在code上计算其相似性。
3. Auto-encoder在对数据预训练方面的应用是对每一层的参数都用Auto-encoder构建一个model，希望每一层都有较完整的保留数据的信息，这些预处理参数就可用来对model参数初始化。

结论

Auto-encoder通常都是有Deep的，可以很好的处理降维问题，且降维后的code可以较完整的保留原始数据的信息，Auto-encoder也可以对model预处理，降低模型训练时间，在一定程度上还可以提高模型准确率。

展望

Auto-encoder是目前学过的比较简单且有效的降维方法，且降维效果很好，在降维时还可以对数据加杂讯，让model能够学到如何过滤杂讯，也可以对model进行预处理。但是Auto-encoder的用处还不止这些，还可以对降维后的code进行处理，使其更容易被解释等等。