鉴别器（逻辑回归）估计两个概率分布的概率密度比

最新推荐文章于 2024-06-23 17:27:02 发布

风吹草地现牛羊的马

最新推荐文章于 2024-06-23 17:27:02 发布

阅读量1k

点赞数 1

分类专栏：生成模型变分贝叶斯系列

本文链接：https://blog.csdn.net/mch2869253130/article/details/112795920

版权

变分贝叶斯系列同时被 2 个专栏收录

22 篇文章 13 订阅

订阅专栏

生成模型

5 篇文章 1 订阅

订阅专栏

概率密度比

概率密度比是生成模型的重要组成部分，无论是在VAEs的情况下显式的（比如两个高斯分布之间的KL散度），还是在GANs的情况下隐式的。即我们在计算两个分布之间的KL散度（比如 $p_{g}$ 与 $p_{data}$ 之间的KL散度），这通常归结为计算两个概率分布对数的样本平均值。

以VAE举例，VAE的ELBO是：
$\begin{aligned} ELBO = & E_{q(z|x)}[logp(x|z)]-KL[q(z|x)||p(z)] \\ = & E_{q(z|x)}[logp(x|z)]-E_{q(z|x)}[log{q(z|x) \over p(z)}] \end{aligned}$

$\over p(z)}$ 称之为概率密度比，这一项如何求出？VAE假设二者都是高斯分布，所以可以写出解析的形式，从而求解KL项，但是这也限制了VAE的能力，即样本的分布并不一定服从高斯分布，如果强制它服从高斯分布，必定会对VAE效果造成影响。相对而言，GAN就没有这个限制。是否可以使用GAN的思想，即不假设先验或者后验的具体形式，而是由网络去逼近 $\over p(z)}$ ，也就算出了VAE中的KL项。

鉴别器估计概率密度比

假设分布 $\sim N(5, 0.2)$ ， $\sim U(-20,20)$ ，我们想算这两个分布的概率密度比。在两个分布形式已知的情况下很好算出，就是
$\over p}={1 \over 40*N(5,0.2)}$

如果 $p 或者 q$ 其中一个分布形式未知，或者两个分布都未知，但我们有一些从分布 $p$ 中采样的样本点 $x_p$ （标签设置为1）和从分布 $q$ 中采样的样本点 $x_{q}$ （标签设置为0）。能否根据这些样本点估计出二者的概率密度比？答案是可以的，使用逻辑回归便可。

根据贝叶斯公式有:
$p(Y=1)\over p(X|Y=1)p(Y=1)+p(X|Y=0)p(Y=0)}$
其中， $Y 表示样本标签$ ， $p (Y = 1)$ 和 $p (Y = 0)$ 在样本给定的情况下，也就是 $x_{p}和x_{q}$ 给定的情况下是一个常数，如果设定 $x_{p}$ 的数量等于 $x_q$ 的数量，那么 $p (Y = 1) = p (Y = 0) = 0.5$ 。
也就是上式可以化简为
$\over p(X|Y=1)+p(X|Y=0)}$

令： $p (X ∣ Y = 1) = p (x) ， p (X ∣ Y = 0) = q (x)$ ，那么：
$\tag{1} p(Y=1|X)={1 \over 1+{q(x) \over p(x)}}$
在逻辑回归中，给定一个样本，其标签为1的概率是：
$\tag{2} p(Y=1|X)={1 \over 1+e^{-(w^{T}X+b)}}$
比较（1）和（2）式， $\over p(x)}=e^{-(w^{T}X+b)}$ ，所以概率密度比就可以用 $e^{-(w^{T}X+b)}$ 来代替。