从完美KL距离推导VAE

最新推荐文章于 2024-09-04 09:30:32 发布

噬也

最新推荐文章于 2024-09-04 09:30:32 发布

阅读量463

点赞数 2

分类专栏：快乐教程文章标签：人工智能机器学习

本文链接：https://blog.csdn.net/weixin_43851192/article/details/116771509

版权

本文从逻辑角度推导VAE，详细阐述了初始设定、VAE流程和核心推导过程，包括理想情况下的损失函数、理想假设（Assumption1和Assumption2）以及如何通过采样优化损失函数。文章揭示了通过假设编码h服从正态分布来简化计算，并介绍了优化方法和损失函数的计算，最后总结了VAE的逻辑结构。

摘要由CSDN通过智能技术生成

文章目录

VAE的纯逻辑推导

VAE的纯逻辑推导

一、初始设定

为了更具体的逻辑讨论，我们假定表示输入图片的随机变量 $X$ （以下简称输入图片），表示编码的随机变量 $h$ （以下简称编码），表示得到的重构图片的随机变量 $\hat X$ （以下简称重构图片）
对于编码器和解码器，我们用三个变量来表示，{ $\phi$ , $h$ , $X$ }，其中 $\phi$ 表示“器”的所有参数， $h$ 表示编码， $X$ 表示图片（对于编码器是输入图片，对于解码器是重构图片）
我们所有的假设都是趋于【完美】，所有的假设的根本出发点都是为了设计出能求的算法
$P_{\phi}(X,h)$ 表示在给定 $\phi$ 的参数下， $X$ 和 $h$ 的联合分布
$K L (P (x) ∣ ∣ P (y))$ 表示两个分布 $x$ , $y$ 的KL距离

VAE流程

$X$ $\rightarrow$ Encoder(参数: $\phi$ ) $\rightarrow$ $h$ $\rightarrow$ Decoder(参数: $\theta$ ) $\rightarrow$ $\hat X$

核心推导

从理想出发

【完美】情况下，我们希望得到一个完全相同的编码器和解码器，即
$Loss(\phi, \theta,X,h,\hat{X}) = KL(P_{\phi}(X,h)||P_{\theta}(\hat{X},h))=0$
但是可能得不到，那就尽量减少 $KL(\cdot||\cdot)$ 吧（KL距离非负）:
$\min \quad Loss(\phi, \theta,X,h,\hat{X}) =KL(P_{\phi}(X,h)||P_{\theta}(\hat{X},h))$
数学知识告诉我们
$\begin{aligned} Loss(\phi, \theta,X,h,\hat{X}) = &KL(P_{\phi}(X,h)||P_{\theta}(\hat{X},h))\\ =& \sum_{X,h,\hat{X}} P_{\phi}(h,X)\log\frac{P_{\phi}(h,X)}{P_{\theta}(h,\hat{X})} \\ =&\sum_{X,h,\hat{X}} P_\phi(X)P_{\phi}(h|X)\log\frac{P_\phi(X)P_{\phi}(h|X)}{P_{\theta}(\hat{X})P_{\theta}(h|\hat{X})} \end{aligned}$
到此为止，能推导的部分已经结束了，在向下就需要做一些假设才能向下推，甚至于有一些假设与原设定相悖，但是没办法，不假设就推不下去GG了