VAE系列之KL散度推导和理解

储备知识

多维高斯公式的表达和推导

一维正态分布都为大家所熟知：
$N(x;\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$
对于多维高斯分布，$\vec{x}=(x_1,x_2,...,x_n)$各个随机变量相互独立，可以表示为
$f(x_1,x_2,..,x_n)=f(x_1)f(x_2)...f(x_n)$
$f(\vec{x})=\frac{1}{\sqrt{2\pi {\sigma }_1^2}}exp(-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2})\ast \frac{1}{\sqrt{2\pi {\sigma }_2^2}}exp(-\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2})\ast ...\ast \frac{1}{\sqrt{2\pi {\sigma }_n^2}}exp(-\frac{(x-{\mu }_n{)}^2}{2{\sigma }_n^2})=\frac{1}{\sqrt{(2\pi {)}^n{\Pi }_{i=1}^{i=n}{\sigma }_i^2}}exp({\sum }_{i=1}^{i=n}-\frac{(x_i-{\mu }_i{)}^2}{2{\sigma }_i^2})(1)$
当然，深度学习这本书中给出的公式如下：
$N(x;\mu ,\Sigma )=\sqrt{\frac{1}{(2\pi {)}^{2}det(\Sigma )}}exp⟮(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )⟯(2)$
其中$\Sigma$和$\det (\Sigma )$分别表示的是$\vec{x}$的协方差矩阵和协方差矩阵的行列式。对于相互独立的变量来说，任意两个变量的$cov(x_i,x_j)=0$，其中$i\ne j$。
$\Sigma =\left[\begin{array}{cccc}{\sigma }_{11}^2& 0& \cdots & 0\\ 0& {\sigma }_{22}^2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\sigma }_{nn}^2\end{array}\right]$
所以方程式1和方程式2是等价的，前者用元素表达，后者用矩阵表达。

信息论之KL散度来源

信息论的一个基本想法是一个不太可能的事件居然发生了，要比一个非常可能的事件发生，能提供更多的信息[1]。
首先定义一个事件$X=x$的自信息(self-information)
$I(x)=-\log P(x)$
其中I(x)的单位为奈特(net)，以e为底。一奈特表示以$\frac{1}{e}$的概率观测到一个事件的信息量。以2为底成为比特(bit)，或者香农(shannons)。
我们可以用香农熵来对整个概率分布中的不确定性总量进行量化：
$H(x)=-E_{x\sim P}[\log P(x)]$

Jensen不等式

待续

The evidence lower bound

待续

[1] 深度学习