VAE（1）——从KL说起

最新推荐文章于 2024-09-04 09:30:32 发布
最新推荐文章于 2024-09-04 09:30:32 发布
阅读量9.8k 收藏 22
点赞数 5
分类专栏： 机器学习——变分贝叶斯自编码 文章标签： 变分贝叶斯自编码 机器学习

VAE（1）——从KL说起

冯超  · 4 个月前
本文收录在 无痛的机器学习第一季。

前面我们介绍了GAN——Generative Adversarial Network，这个网络组是站在对抗博弈的角度去展现生成模型和判别模型各自的威力的，下面我们来看看这种生成模型和判别模型组合的另一个套路——Variational autoencoder，简称VAE。

突然想起来，他也叫VAE，我觉得他还是有点音乐才华的。不过我们今天不去讨论他。

Variational autoencoder的概念相对复杂一些，它涉及到一些比较复杂的公式推导。在开始正式的推导之前，我们先来看看一个基础概念——KL divergence，翻译过来叫做KL散度。

什么是KL散度

无论从概率论的角度，还是从信息论的角度，我们都可以很好地给出KL散度测量的意义。这里不是基础的概念介绍，所以有关KL的概念就不介绍了。在Variational Inference中，我们希望能够找到一个相对简单好算的概率分布q，使它尽可能地近似我们待分析的后验概率p(z|x)，其中z是隐变量，x是显变量。在这里我们的“loss函数”就是KL散度，他可以很好地测量两个概率分布之间的距离。如果两个分布越接近，那么KL散度越小，如果越远，KL散度就会越大。

KL散度的公式为：

KL(p||q)=\sum{p(x)log\frac{p(x)}{q(x)}}，这个是离散概率分布的公式，

KL(p||q)=\int{p(x)log{\frac{p(x)}{q(x)}}dx}，这个是连续概率分布的公式。

关于其他KL散度的性质，这里就不赘述了。

KL散度的实战——1维高斯分布

我们先来一个相对简单的例子。假设我们有两个随机变量x1,x2，各自服从一个高斯分布N_1(\mu_1,\sigma_1^2),N_2(\mu_2,\sigma_2^2)，那么这两个分布的KL散度该怎么计算呢？

我们知道

N(\mu,\sigma)=\frac{1}{\sqrt{2\pi\sigma^2}}e^{\frac{(x-\mu)^2}{2\sigma^2}}

那么KL(p1,p2)就等于

\int{p_1(x)log\frac{p_1(x)}{p_2(x)}}dx
=\int{p_1(x)(log{p_1(x)}}dx-log{p_2(x)})dx =\int{p_1(x)}*(log{\frac{1}{\sqrt{2\pi\sigma_1^2}}e^{\frac{(x-\mu_1)^2}{2\sigma_1^2}}}-log{\frac{1}{\sqrt{2\pi\sigma_2^2}}e^{\frac{(x-\mu_2)^2}{2\sigma_2^2}}})dx
=\int{p_1(x)*(-\frac{1}{2}log2\pi-log{\sigma_1}-\frac{(x-\mu_1)^2}{2\sigma_1^2}}+\frac{1}{2}log{2\pi}+log{\sigma_2}+\frac{(x-\mu_2)^2}{2\sigma_2^2})dx
=\int{p_1(x)(log\frac{\sigma_2}{\sigma_1}+[\frac{(x-\mu_2)^2}{2\sigma_2^2}-\frac{(x-\mu_1)^2}{2\sigma_1^2}])dx}
=\int(log\frac{\sigma_2}{\sigma_1})p_1(x)dx+\int(\frac{(x-\mu_2)^2}{2\sigma_2^2})p_1(x)dx-\int(\frac{(x-\mu_1)^2}{2\sigma_1^2})p_1(x)dx
=log\frac{\sigma_2}{\sigma_1}+\frac{1}{2\sigma_2^2}\int((x-\mu_2)^2)p_1(x)dx-\frac{1}{2\sigma_1^2}\int((x-\mu_1)^2)p_1(x)dx

（更新）到这里停一下，有童鞋问这里右边最后一项的化简，这时候积分符号里面的东西是不看着很熟悉？没错，就是我们常见的方差嘛，于是括号内外一约分，就得到了最终的结果——\frac{1}{2}。

好，继续。
=log\frac{\sigma_2}{\sigma_1}+\frac{1}{2\sigma_2^2}\int((x-\mu_2)^2)p_1(x)dx-\frac{1}{2}
=log\frac{\sigma_2}{\sigma_1}+\frac{1}{2\sigma_2^2}\int((x-\mu_1+\mu_1-\mu_2)^2)p_1(x)dx-\frac{1}{2}
=log\frac{\sigma_2}{\sigma_1}+\frac{1}{2\sigma_2^2}[\int{(x-\mu_1)^2}p_1(x)dx+\int{(\mu_1-\mu_2)^2}p_1(x)dx+2\int{(x-\mu_1)(\mu_1-\mu_2)]}p_1(x)dx-\frac{1}{2}
=log\frac{\sigma_2}{\sigma_1}+\frac{1}{2\sigma_2^2}[\int{(x-\mu_1)^2}p_1(x)dx+(\mu_1-\mu_2)^2]-\frac{1}{2}

=log\frac{\sigma_2}{\sigma_1}+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma_2^2}-\frac{1}{2}

说实话一直以来我不是很喜欢写这种大段推导公式的文章，一来原创性比较差（都是前人推过的，我就是大自然的搬运工），二来其中的逻辑性太强，容易让人看蒙。不过最终的结论还是得出来了，我们假设N2是一个正态分布，也就是说\mu_2=0,\sigma_2^2=1那么N1长成什么样子能够让KL散度尽可能地小呢？

也就是说KL(\mu_1,\sigma_1)=-log\sigma_1+\frac{\sigma_1^2+\mu_1^2}{2}-\frac{1}{2}。

我们用“肉眼”看一下就能猜测到当\mu_1=0,\sigma_1=1时，KL散度最小。从公式中可以看出，如果\mu_1偏离了0，那么KL散度一定会变大。而方差的变化则有些不同：

当\sigma_1大于1时，\frac{1}{2}\sigma_1^2将越变越大，而-log\sigma_1越变越小；

当\sigma_1小于1时，\frac{1}{2}\sigma_1^2将越变越小，而-log\sigma_1越变越大；

那么哪边的力量更强大呢？我们可以作图出来：

import numpy as np
import matplotlib.pyplot as plt
x = np.linspace(0.5,2,100)
y = -np.log(x)+x*x/2-0.5
plt.plot(x,y)
plt.show()

从图中可以看出

二次项的威力更大，函数一直保持为非负，这和我们前面提到的关于非负的定义是完全一致的。

好了，看完了这个简单的例子，下面让我们再看一个复杂的例子。

一个更为复杂的例子：多维高斯分布的KL散度

上一回我们看过了1维高斯分布间的KL散度计算，下面我们来看看多维高斯分布的KL散度是什么样子？说实话，这一次的公式将在后面介绍VAE时发挥很重要的作用！

首先给出多维高斯分布的公式：

p(x_1,x_2,...x_n)=\frac{1}{\sqrt{2\pi*det(\Sigma)}}e^{(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu))}

由于这次是多维变量，里面的大多数计算都变成了向量、矩阵之间的计算。我们常用的是各维间相互独立的分布，因此协方差矩阵实际上是个对角阵。

考虑到篇幅以及实际情况，下面直接给出结果，让我们忽略哪些恶心的推导过程:

KL(p1||p2)=\frac{1}{2}[log \frac{det(\Sigma_2)}{det(\Sigma_1)} - d + tr(\Sigma_2^{-1}\Sigma_1)+(\mu_2-\mu_1)^T \Sigma_2^{-1}(\mu_2-\mu_1)]

其实这一次我们并没有介绍关于KL的意义和作用，只是生硬地、莫名其妙地推导一堆公式，不过别着急，下一回，我们展示VAE效果的时候，就会让大家看到KL散度的作用。

坚持看到这里的童鞋是有福的，来展示一下VAE的解码器在MNIST数据库上产生的字符生成效果：

从这个效果上来看，它的功能和GAN是有点像的，那么让我们来进一步揭开它的庐山真面目吧！

转载自https://zhuanlan.zhihu.com/p/22464760

sallyyoung_sh
关注
专栏目录
变分自编码器VAE原理与代码实例讲解
AI大模型应用之禅
07-11 417
变分自编码器VAE原理与代码实例讲解 关键词： 变分自编码器（Variational Autoencoder, VAE）、无监督学习、自动编码器、概率建模、生成模型、重构损失、KL散度、隐含变量、深度学习框架 1. 背景介绍
PyTorch深度学习实战（29）——变分自编码器(Variational Autoencoder, VAE)
盼小辉丶的博客
12-25 2176
变分自编码器 (Variational Autoencoder, VAE) 是一种结合了自编码器和概率建模的生成模型，通过编码器将输入数据映射到潜在空间中的概率分布，并通过解码器将从潜在空间采样得到的潜在变量映射回原始数据空间，实现了数据的生成和特征学习。
kl散度的理解_通俗理解变分自编码器VAE(variational auto-encoder)
weixin_39564524的博客
11-30 1494
一、前言VAE是一种生成式模型，生成模型的分类可以参见下图。生成模型主要对数据的结构进行建模（discover structure of data），捕捉数据不同维度之间的关系，从而可以由模型来生成新的数据。假设我们现在有一个数据集X，生成模型希望产生和这个数据集相同分布的数据。二、潜变量模型（latent variable model）我们首先介绍什么是潜变量。顾名思义，潜变量就是观察不到的变量...
VAE损失函数从公式到代码的全理解
最新发布
u013600306的博客
09-04 742
VAE的损失函数实际上是最大化训练样本的极大似然估计，由于直接最大化做不到，所以最大化证据下界（ELBO）。称为证据的原因是px是贝叶斯公式中的证据因子，就是常数，归一化用的。而为什么称为证据因子，那就说来话长了。因为贝叶斯公式习惯性利用证据和假设来解释……然后就是最大化ELBO。对ELBO剖析：第一种利用Jensen’s Inequality第二种利用KL(Kullback-Leibler) Divergence。
关于VAE中KL散度项的推导
qq_29884019的博客
04-19 3623
关于VAE中KL散度项的推导 最近在看 Variational AutoEncoder，其中论文《Auto-Encoding Variational Bayes》中的Eq.(10)怎么也推不出来，看了一下Appendix B，只给出了KL散度项，没有给出具体的计算过程，如下图： 于是决定自己推导一下，主要也是暴力求解，参考 [ Gaussian Integrals ]: ...
VAE系列之KL散度推导和理解
xinxiang7
04-10 2210
储备知识 多维高斯公式的表达和推导 一维正态分布都为大家所熟知： N(x;μ,σ2)=12πσ2exp(−(x−μ)22σ2)N(x;\mu,\sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}}exp(-\frac{(x-\mu)^2}{2\sigma^2})N(x;μ,σ2)=2πσ2​1​exp(−2σ2(x−μ)2​) 对于多维高斯分布，x⃗=(x1,x2,....
VAE 中 KL散度 推导过程
Defiler_Lee的博客
04-11 1289
参考https://blog.csdn.net/sallyyoung_sh/article/details/54632668 这里附上我的手写笔记
VAE粗略理解
wr1997的博客
04-03 3199
AE 自编码是一种表示学习的技术，是deep learning的核心问题 让输入等于输出，取中间的一层作为embedding， 即编码 对中间的隐层进行约束，就可以得到不同类型的编码 h<x，这就是普通的降维编码 h>x, 并且约束其稀疏性，就得到稀疏编码 自编码网络，可以理解为， 完成训练后，Decoder部分就没有用了 SAE 堆叠自编码器 ...
从完美KL距离推导VAE
weixin_43851192的博客
05-19 455
文章目录VAE的纯逻辑推导初始设定VAE流程核心推导假设Assumption1Assumption_1Assumption1​假设Assumption2Assumption_2Assumption2​假设$Assumption_3 VAE的纯逻辑推导 初始设定 为了更具体的逻辑讨论，我们假定表示输入图片的随机变量XXX（以下简称输入图片），表示编码的随机变量hhh（以下简称编码），表示得到的重构图片的随机变量X^\hat XX^（以下简称重构图片） 对于编码器和解码器，我们用三个变量来表示，{ϕ\p
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
热门推荐
盼小辉丶的博客
05-28 6万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
PyTorch深度学习实战（19）——从零开始实现R-CNN目标检测
盼小辉丶的博客
10-07 3866
R-CNN (Region-based Convolutional Neural Network) 是 R-CNN 系列目标检测算法的初代模型，其将“深度学习”和传统的“计算机视觉”的相结合，在深度学习的框架下实现了高效的物体检测和识别。R-CNN 的核心思想是将目标检测任务分解为候选区域提取、特征提取、目标分类和边界框回归四个步骤。R-CNN 中的 “Region-based” 指的就是区域提议(候选区域)，用于在图像中识别对象。在本节中，我们将利用区域提议来完成图像中目标对象的检测和定位。
AIGC实战——变分自编码器(Variational Autoencoder, VAE)
盼小辉丶的博客
11-16 2083
变分自编码器通过在模型中引入随机性，并限制潜空间中的点的分布来解决自编码器存在的问题。只需进行一些微小的调整，就可以将自编码器转换为变分自编码器，从而使其成为真正的生成模型。在本节中，我们介绍了变分自编码器的基本原理，并使用 `Keras` 实现了一个变分自编码器用于生成 Fashion-MNIST 图像。
深度学习中的KL散度
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
12-18 3059
KL散度（Kullback-Leibler Divergence），也称为相对熵，是信息论中的一个概念，用于衡量两个概率分布间的差异。它起源于统计学家Kullback和Leibler的工作，它的本质是衡量在用一个分布来近似另一个分布时，引入的信息损失或者说误差。在机器学习、深度学习领域中，KL散度被广泛运用于变分自编码器中(Variational AutoEncoder,简称VAE)、EM算法、GAN网络中。
VAE系列
m0_55217431的博客
10-15 132
1.理解类任务：给出P（y|x)，对于y的概率密度进行估计，最后给出新的x，能够预测y 2.生成类任务：要估计数据本身的概率密度P（x），当学到数据的分布后，从数据中采样一个x，产生新的数据，难点在于样本数据的有限性，数据集难以覆盖所有情况。 解决方案：加入先验知识，给问题加入限定条件，如下： 1.GPT，对于相近的句子，对应位置的词向量也非常接近，如apple，orange，可以应对不同的组合方式，产生没有过的样本点 2.GAN：假定数据样本点...
VAE(3)——公式与实现
sallyyoung_sh的博客
01-20 6393
VAE(3)——公式与实现 冯超 · 3 个月前 本文收录在无痛的机器学习第一季。 前面两部分我们已经扫除了一些基本概念上的障碍，下面我们来直奔主题——VAE！ 由于文章是一篇一篇写的，所以照顾到大家观看的情况，我们把前面介绍过的一些重要公式搬过来。 首先是系列第一篇的公式——多维高斯分布的KL散度计算公式： 希望大家还有印象，如果没有印象就赶紧翻回去看看吧
KL散度，VAE
weixin_30915951的博客
03-24 1434
KL散度（相对熵） 衡量两个概率分布的距离，两个概率分布越相似，KL散度越小，交叉熵越小。表示已知q，p的不确定性程度-p的不确定性程度 交叉熵：表示已知分布p后q的不确定程度，用已知分布p去编码q的平均码长 交叉熵在分类任务中为loss函数 往往交叉熵比均方误差做loss函数好 1.均方差求梯度太小，在深度网络中，随着网络变深，会出现梯度消失，即梯度饱和问...
《KL散度、WGAN、VAE》
uestc_huhu的博客
03-15 482
KL散度 KL 散度是根据两个概率分布的表达式来算它们的相似度的。 WGAN相对于原始GAN 1.判别器最后一层去掉sigmoid 2.生成器和判别器的loss不取log 3.每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定常数c 4.不要用基于动量的优化算法（包括momentum和Adam），推荐RMSProp，SGD也行 VAE VAE的Encoder尽量向正态分布看齐。 对抗的原理在于：当Decoder训练不好，重构误差大，那么就降低噪声，使得拟合容易，当Decoder训练的好
VAE、 EM、KL散度
Aure219的博客
08-08 1620
如上图所示，现在在给两张图片编码的时候加上一点噪音，使得每张图片的编码点出现在绿色箭头所示范围内，于是在训练模型的时候，绿色箭头范围内的点都有可能被采样到，这样解码器在训练时会把绿色范围内的点都尽可能还原成和原图相似的图片。然后我们可以关注之前那个失真点，现在它处于全月图和半月图编码的交界上，于是解码器希望它既要尽量相似于全月图，又要尽量相似于半月图，于是它的还原结果就是两种图的折中（3/4全月图）。假如在AE中，一张满月的图片作为输入，模型得到的输出是一张满月的图片；m对应原来AE中的code，
深度学习 个人总结使用VAE模型可以实现的几种功能
小鹏AI
07-02 4352
使用VAE模型的时候，我基于它的原理对VAE模型进行了细致的分析（它都可以做什么的思考） 总结如下：（以下功能到后期均会实现） VAE模型可以自动生成人脸（不存在的人脸） VAE模型可以将一张人脸很自然的转换成另一张人脸 VAE模型可以类似于美颜相机（对斑纹，雀斑进行处理） 一、VAE模型自动生成人脸 实现步骤 将人脸数据库传入到VAE模型中 通过编码器进行解析，获取语义特征值（可以是多个维度的） 将获得的人脸语义值输入到解码器中，将语义值进行转换获得新的人脸 此时获得的人脸可以是自己定义的人
多元正态分布的kl散度
06-26
### 回答1： KL散度是一种用来衡量两个概率分布之间差异的方法，也称为相对熵或信息散度。对于多元正态分布，其KL散度可以通过计算两个多元正态分布的协方差矩阵和均值向量的差异来得到。 具体来说，假设有两个多元正态分布$p$和$q$，其均值向量分别为$\boldsymbol{\mu}_p$和$\boldsymbol{\mu}_q$，协方差矩阵分别为$\boldsymbol{\Sigma}_p$和$\boldsymbol{\Sigma}_q$。则其KL散度可以表示为： $$ D_{\mathrm{KL}}(p\|q)=\frac{1}{2}\left[\ln\frac{\det(\boldsymbol{\Sigma}_q)}{\det(\boldsymbol{\Sigma}_p)}-\mathrm{tr}(\boldsymbol{\Sigma}_q^{-1}\boldsymbol{\Sigma}_p)+(\boldsymbol{\mu}_q-\boldsymbol{\mu}_p)^\top\boldsymbol{\Sigma}_q^{-1}(\boldsymbol{\mu}_q-\boldsymbol{\mu}_p)-k\right] $$ 其中，$k$是多元正态分布的维数（即随机变量的个数），$\det(\cdot)$表示矩阵的行列式，$\mathrm{tr}(\cdot)$表示矩阵的迹运算。可以看出，KL散度是对概率分布差异的量化，其值越小表示两个分布越相似，值越大则表示两个分布差异越大。 在实际应用中，KL散度常常被用于衡量模型分布与真实分布之间的距离，或者不同模型之间的差异，以便进行模型选择或优化。 ### 回答2： 多元正态分布的KL散度是用来评估两个多元正态分布之间距离的一种度量方法。KL散度，也称随机变量间KL散度或信息散度，是信息论中广泛使用的一种度量方法。 在多元正态分布中，KL散度是由两个分布的期望值和协方差矩阵计算出来的。它的计算公式为： D_KL(P||Q) = 1/2 [ tr(S^(-1) U) + ln(det(S)) - k + (V - mu)^T S^(-1) (V - mu)] 其中，P和Q表示两个多元正态分布，S和U分别是它们的协方差矩阵和期望值向量，k是向量的维度，V是一个多元正态分布中的样本向量。 KL散度的值越小表示两个分布之间越接近，值越大则表示它们之间的距离越远。当KL散度为0时，两个分布是完全相同的。在机器学习和数据分析领域中，KL散度广泛用于评估和比较多元分布模型之间的差别，或者是将多个分布合并为一个更准确的模型。 ### 回答3： KL散度是用于衡量两个概率分布之间差异性的指标，多元正态分布的KL散度也是如此。在多元正态分布中，KL散度是用于比较两个多维正态分布之间的差异。 多元正态分布是高维数据分析中常用的模型之一，它可以描述多变量之间的关系，具有较为广泛的应用。在计算KL散度时，需要首先计算两个多元正态分布的期望向量和协方差矩阵，然后利用这些参数计算KL散度值。KL散度值可以反映两个多元正态分布之间的差异程度。 KL散度值越大，表明两个多元正态分布之间的差异越大。在高维数据分析中，KL散度可以用于刻画不同类别或不同时间点的多元正态分布之间的差异，进而用于分类、聚类、降维等数据分析任务中。 总之，多元正态分布的KL散度是用于比较两个多维正态分布之间差异的指标。在高维数据分析中具有较为广泛的应用。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值