Unsupervised learning auto-encoder
摘要：
auto-encoder是针对无监督学习，缺失label的数据无法训练而发明的一种方法，简单来说，就是将数据转换成code，再将code转换成数据，minimize前后数据的差别，进而达到降维的目的
当auto-encoder有多个隐藏层时，就转换成了deep auto-encoder，deep auto-encoder会比一般的PCA效果更好。
之后讲了auto-encoder的多个应用：
1.在文本检索中，通过auto-encoder降维，可以将描述相同内容的文章进行归类。
2.将图像转成code进行相似图像查找，得到的结果要比通过像素相似查找好很多。
3.auto-encoder也可以对DNN的参数进行初始化，方便DNN进行训练。
之后还将了auto-encoder的变形和CNN中的应用：反卷积和反池化的做法。
目录
1.Auto-encoder text retrieval：
2 Auto-encoder-Similar Image Search
一、Auto-encoder
对于encoder来说，我们有输入object，由于是无监督学习，输出的code是未知的。
首先训练一个decoder，输入是上面的code，输出是原来的object，对于这两个东西如果单独拿出来是没有办法训练，但是将这两个接在一起，就可以训练了。连在一起后，整个网络的输入和输出都有了。
对于encoder来说，输出的code通常维度要小于输入object的维度，用一部分代表整个object。
对于decoder而言，他的主要作用是重建原来的object
注意看这张图，encoder输入图像，输出code，decoder输入code，输出图像。
1.从PCA开始
输入一张image x，把x*weigh得到component的weight，然后component的weight 再乘个矩阵WT得到x ^
在PCA中做的事，就是让x和xh越接近越好
当做神经网络来看的话，x就是输入层，xh就是输出层，component的weight就是中间层。
而且前面这个部分就是encoder，后面就是decoder
中间层的输出，就是上面提到的code。也就是图片中橙色的c
2.Deep Auto-encoder
Deep Auto-encoder可以看做是有多个中间层的PCA
每一层的weight不一定是要对称的，一般通过反向传播算法进行计算。
结果：
可以看到Deep Auto-encoder的结果比PCA要好一些。
PCA是降到30维，然后再reconstruct到784，这样的结果有些模糊。
Deep Auto-encoder先升到1000维，在经过多个中间层处理，得到的结果明显更好。
如果不是降到30维，而是2维的话
用PCA降到2维，不同数字聚在一起。（不同颜色代表不同数字）
用Deep Auto-encoder降到2维，不同数字是相对分散的。
二、Auto-encoder的应用：
1.Auto-encoder text retrieval：
文本检索，本质上就是找到与文本最相近的向量
Vector Space Model：将每篇文章表达成空间中的一个vector
假设使用者查询一个词汇，将这个词汇也设置成为空间中的一个点，计算查询词汇和空间中的文章的内积/余弦相似度。
这个方法的好坏，很大程度上取决于将文章表达成vector效果的好坏。
一般的方法是bag-of-word
每个词用one-hot向量表示，有的时候还会乘上一些权重以表示词的重要程度
这个模型的弱点也明显，就是没有考虑词与词之间的语义信息（无法知道苹果和橙子都是水果，因为词之间是独立的）。
如果用上Auto-encoder，那么语义信息就很自然的被包含进来了。不同文章谈论相近的事时，它们的vector是相近的。
Auto-encoder的输入是bag-of-word，不同文章讨论类似的事情时，它们的code是相近的。
将输入通过Auto-encoder转成二维的code，讨论相同类型的事务，它们文章的code是详图颜色的。
2 Auto-encoder-Similar Image Search
将图像在Auto-encoder上面转换成code，用code进行对比，由于是无监督学习，所以不需要担心数据量。
下面是在像素上算相似度，和code上算相似度，结果的对比，可以发现在code上算相似度，得到的结果都是人像，这个效果还是要更好一些的。
3.Pre-training DNN
Auto-encoder可以对模型进行初始化，这个方法叫做Pre-training DNN，
具体做法：
左侧是目标模型，Pre-training DNN的做法是每次对一个隐藏层进行auto-encoder
以第一层为例，由输入784维，通过w1得到1000维code，再由code降维到784维，对得到的参数w1进行保留。再继续计算下面的隐藏层，依次保留得到的weight。
这样得到的weight就是初始化之后的值。经过初试化之后，就可以通过反向传播进行fine-tune。
Pre-training这个方法在之前训练比较深的网络时有用，现在不用这个方法也可以进行训练了。但是当我们有大量的unlabel data，少量的label data，这个时候可以用unlabel data Pre-training模型，然后再用label data进行fine-tune
4.De-noising auto-encoder
Auto-encoder的另外一个改进方法就是De-noising：
目标是x和y越接近越好，X加噪声得到x’，encode之后变成c，decode之后变成y，这个模型的鲁棒性比较好，因为在学习样本的code的过程中，顺便把噪声的样子也学习到了，杂序去掉，因此噪声对这个模型的影响也就小了。
另外一个类似的改进模型是Contractive auto-encoder
5.auto-encoder在CNN中的应用
右边是encoder，容易理解，左边decoder做的是相反的事情，也就是反池化，反卷积。
Unpooling的做法：
主要是记住池化时的位置，将池化的位置记成白色，Unpooling时将池化位置用最大值填充，其他位置补0。
Deconvolution：反卷积就是卷积
以一维卷积为例，
左侧是卷积，不同颜色代表不同权重。
中间部分是反卷积，反卷积应该是一个值变成三个值。
右侧是补零之后在卷积，可以发现右侧和中间其实是一样的。区别在于weight的次序是相反的。
所以反卷积实际上可以看做是padding后的卷积操作，这样就不需要额外编制代码，而是直接调用卷积的函数即可。
总结：
Auto-Encoder 是 Feedforward Neural Network 的一种，曾经主要用于数据的降维或者特征的抽取，而现在也被扩展用于生成模型中。与其他 Feedforward NN 不同的是，其他 Feedforward NN 关注的是 Output Layer 和错误率，而 Auto-Encoder 关注的是 Hidden Layer。
PCA就是一种简单的线性降维方法，而Auto-Encoder可以对非线性关系进行降维。
250
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
