搞个目录
目录
【学习x服从的高斯分布的均值和方差,然后在此高斯分布中随机选取一个值。】
变分自编码器
https://zhuanlan.zhihu.com/p/44166103
(variational autoencoder )是生成式模型的一种
另一种常见的生成式模型为生成式对抗网络(generative adversarial network),简称GAN。
1.原理:根据多个样本,学会生成新的样本。
例如:在看过mnist的几千张样本之后,我们就能够模仿,并生成一些类似的图片。
更学术化一些:学会数据x的分布P(x),然后根据分布产生新的样本。
【当数据量不足的时候,估计数据x的分布会不准确。】
2.本文的案例:
根据隐变量z经过一个复杂的映射,达到x。并且,假设z服从高斯分布。
为了学习z所服从的高斯分布的参数,还需要将x映射到z。学习z的高斯分布的参数。
损失函数:KL散度。
实现细节:encoder + decoder
【学习x服从的高斯分布的均值和方差,然后在此高斯分布中随机选取一个值。】
损失函数:
训练:
推理:
额外的看看,隐变量服从高斯分布的参数的范围:
思考:
1.这个项目判定样本是否好区分,也就是区分任务的难易程度。
【方法:假设服从高斯分布,看看高斯分布的参数能否分开,主要侧重于均值。】
2.关于loss的考虑:
此处的loss 使用的kl散度。——看分布的规律。
但是,自编码器中使用的binary-entropy——当做一个分类任务。【对于去燥的任务】
3.有一个疑问:
为什么要增加lamda层么,实际推理时候,又没有用到。
自己解答:根据学习到的分布,随机选取一个值,进行解码。
【很新颖的一个思路】