pytorch-AutoEncoders

1. 监督学习&无监督学习

1.1 监督学习

分类和回归都属于监督学习，即数据集需要人的参与，比如：数据标定、分类，因此受人的主观影响较大。

1.2 无监督学习

下图展示了三大机器学习方向的数据量，增强学习最少，其次是监督学习，大部分数据是无标注无监督学习

1.3 为什么需要无监督学习

• 降维
• 预处理
  比如：把224x224的数据降维为64x64
• 可视化
  降维后，进行数据可视化
  https://projector.tensorflow.org/
• 从无监督数据中发现数据的分布、形态，方便后续train
• 压缩、去噪、超分辨率

2. AutoEncoders

auto encoder 就是重建自己，它的输入和输出维度相同，如下图：输入和输出都是784，中间都是隐藏层，过程分三步，encoder、code和decode，decode是encode的反过程。code可以看作数据暂存，可升维也可降维，下图处理手写数字识别图片，code降到了2维

3. Auto Encoders loss function

如下图：MSE和cross Entropy loss函数也是适合auto encoder的
cross Entropy用于binary 0，1输入。

4. PCA VS Auto Encoders

大部分数据是非线性的，PCA 属于线性变化，而Auto Encoders得意于神经网络的非线性，因此效果要比PCA更好。
如下图：

5. Auto Encoders的变种

5.1 Denoising Auto Encoders

为了防止像素级重建时，网络记住像素值，通常会在样本数据中增加一些噪声，这样才能记住更高级别的特征。
如下图：可以看出加了噪声后，重建后的效果还是不错的。

5.2 Dropout AutoEncoders

drop是在train的时候，删除掉一些网络连接，以防止over fitting，而在测试的时候又恢复全部网络连接。
如下图：
绿色柱状图标识dropout与loss之间的关系，蓝色标识dropout与accuracy之间的关系，可以看出dropout为0时，全连接loss最小，但是accuracy却不是最大的，说明可能出现了over fitting，dropout=0.2时，accuracy最大，说明dropout在一定程度上防止overfitting

5.3 Adversarial AutoEncoders

AutoEncoders的hidden code数据存在类似下图的一种分布，随着epoch的增加数据越靠近下方，而这种分布并不符合常见的分布形态，所以人为希望均值=0，方差为某个值，使得在生成时，h从[-1,1]属于某种分布，为了解决这个问题，Adversarial 加入一个discriminator网络用来验证真实的z分布是否与z`一致，如果相差不大输出一个real，否则输出一个Fake

5.4 Variational Auto Encoder

VAE = Variational Auto Encoder，变分自编码器。是一种常见的生成模型，属于无监督学习的范畴。它能够学习一个函数/模型，使得输出数据的分布尽可能的逼近原始数据分布，其基本思路是：把一堆真实样本通过编码器网络变换成一个理想的数据分布，然后这个数据分布再传递给一个解码器网络，得到一堆生成样本，生成样本与真实样本足够接近的话，就训练出了一个VAE模型.

下图中的公式，前半部分计算的是重建误差，可以理解为MSE或者是Cross Entropy，而后半部分KL是散度的公式，主要是计算q分布与p分布的相似度。
那么公式的目标就是重建误差越小越好，q和p的分布越接近越好。

下图中1表示pq两种分布，2表示两种分布的重叠程度，重叠度越高，值越低，3表示的KL值，同样是两种分布越接近值越小，反之越大。

下图是计算重建误差max likelihood 公式的两个常用方法，MSE和cross Entropy

计算KL的公式


下图表示VAE的一个过程，AE过程是输入x->h->x值一一对应；VAE是输入->N分布->x，也就说值不是一一对应的了，所以需要在N分布中sample出一个值，变为x->h->x`一一对应。
那么有一个问题是sample操作不可微，所以有个小技巧就是将N(μ,σ${}^2$)分布表达为

使得μ和σ即变得可导，又保留了原来的分布特性，因为不关心ε ，从而忽略掉ε


VAE网络，隐藏层是一个分布，z值从分布中sample得到

AE与VAE的对比，发现VAE还是要好一些

生成模型
VAE学习的是分布，通过从q(h)分布sample不同的h值，就可以做生成模型

下图是通过VAE和GAN生成的二次元图像