深度学习（3）-变分自编码器

搞个目录

目录

1.原理：根据多个样本，学会生成新的样本。

2.本文的案例：

实现细节：encoder + decoder

【学习x服从的高斯分布的均值和方差，然后在此高斯分布中随机选取一个值。】

损失函数：​

训练：

推理：

额外的看看，隐变量服从高斯分布的参数的范围：

思考：

1.这个项目判定样本是否好区分，也就是区分任务的难易程度。

2.关于loss的考虑：

3.有一个疑问：

---

 

变分自编码器

https://zhuanlan.zhihu.com/p/44166103

（variational autoencoder ）是生成式模型的一种

另一种常见的生成式模型为生成式对抗网络（generative adversarial network），简称GAN。

1.原理：根据多个样本，学会生成新的样本。

例如：在看过mnist的几千张样本之后，我们就能够模仿，并生成一些类似的图片。

更学术化一些：学会数据x的分布P(x)，然后根据分布产生新的样本。

【当数据量不足的时候，估计数据x的分布会不准确。】

2.本文的案例：

根据隐变量z经过一个复杂的映射，达到x。并且，假设z服从高斯分布。

为了学习z所服从的高斯分布的参数，还需要将x映射到z。学习z的高斯分布的参数。

损失函数：KL散度。

实现细节：encoder + decoder

【学习x服从的高斯分布的均值和方差，然后在此高斯分布中随机选取一个值。】

损失函数：

训练：

推理：

额外的看看，隐变量服从高斯分布的参数的范围：

思考：

1.这个项目判定样本是否好区分，也就是区分任务的难易程度。

【方法：假设服从高斯分布，看看高斯分布的参数能否分开，主要侧重于均值。】

2.关于loss的考虑：

此处的loss 使用的kl散度。——看分布的规律。

但是，自编码器中使用的binary-entropy——当做一个分类任务。【对于去燥的任务】

3.有一个疑问：

为什么要增加lamda层么，实际推理时候，又没有用到。

自己解答：根据学习到的分布，随机选取一个值，进行解码。

【很新颖的一个思路】