二维 均值方差高斯分布图 python_PR Ⅵ: 多元连续高斯分布的KL散度及python实现

PR Ⅵ & 信息论 II: 一元、多元连续高斯分布的KL散度及python实现

本文包括一元、多元连续高斯分布的KL散度的理论推导及其python实现，将KL散度的期望公式转化为均值方差表达的公式。本文使用描述连续分布的小写概率密度函数pdf。

离散情况及KL基础知识见链接：

刘浚嘉：PR Ⅴ: 熵、KL散度、交叉熵、JS散度及python实现​zhuanlan.zhihu.com

本文是上文的3.2节，我们从单变量/一元高斯分布的KL散度开始：

3.2.1 一元连续高斯分布的KL散度公式推导

Let

其中

代表 p 分布下的期望，且

也可以参见 PRML 1.30。

3.2.2 一元连续高斯分布的KL散度python实现

import 

3.2.3 多元连续高斯分布的KL散度公式推导

Let

提示一下，多元高斯长这样：

也可以见如下链接复习高斯分布知识：

刘浚嘉：PR Ⅲ：从高斯分布到高斯过程、高斯过程回归、贝叶斯优化​zhuanlan.zhihu.com

先写点基础知识，以下来自 多变量高斯分布之间的KL散度（KL Divergence）

矩阵的迹的性质：

在推导公式过程中，使用到的一个重要的 trick 如下：

对于列向量

，公式

的结果是一个标量，所以：

多变量分布中期望 E 与协方差

的性质：

证明：

证明：因为

​ 的结果是一个标量，利用前面提到的

trick，可得：

下面开始推导：

其中

即矩阵阶数、高斯分布的维度。

也可以参见 PRML 2.13。

3.2.4 多元连续高斯分布的KL散度python实现

import 

Reference

1. KL divergence between two univariate Gaussians

如若有误，烦请告知，不胜感激！