PRML 模式识别与机器学习 问题答案 2.15

题目

请展示多元高斯分布$N(x|\mu ,\Sigma )$的熵(enrtopy)是
$$H[x]=\frac{1}{2}\log |\Sigma |+\frac{D}{2}(1+\log (2\pi ))$$
$D$是$x$的维度。

解答

这道题有两种解答的方式

1. 利用熵的定义，也就是$H[x]=E[-\log p(x)]$[1]
2. 对高斯分布直接展开，然后化简[2]

方式一:利用熵的定义

首先写出多元高斯分布的熵用定义表示的形式
$$H[x]=E[-\log N(x|\mu ,\Sigma )]$$
$$H[x]=E[-\log \frac{1}{(2\pi {)}^{\frac{D}{2}}|\Sigma {|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}]$$
$$H[x]=-E[-\log ((2\pi {)}^{\frac{D}{2}}|\Sigma {|}^{\frac{1}{2}})-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )]$$
$$H[x]=\frac{D}{2}\log (2\pi )+\frac{1}{2}\log |\Sigma |+\frac{1}{2}E[(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )]$$
这个时候我们已经有了一个相对明显的形式，只要计算出来最后一项就可以了，也就是$E[(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )]$，在这里我们需要用到 “矩阵的迹的技巧”，也就是Trace Track[3]。
$$E[(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )]=E[tr((x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))]$$
$$=E[tr({\Sigma }^{-1}(x-\mu {)}^T(x-\mu ))]=tr(E[{\Sigma }^{-1}(x-\mu {)}^T(x-\mu )])$$
$$=tr({\Sigma }^{-1}E[(x-\mu {)}^T(x-\mu )])=tr({\Sigma }^{-1}\Sigma )=tr(I)=D$$
把这个公式的结果代入到刚才的公式中，我们就可以得到
$$H[x]=\frac{D}{2}\log (2\pi )+\frac{1}{2}\log |\Sigma |+\frac{1}{2}D$$

方式二:展开高斯分布

像第一种方法一样，我们先写出多元高斯分布的熵的形式：
$$H[x]=-\int \frac{1}{(2\pi {)}^{\frac{D}{2}}|\Sigma {|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}\log \frac{1}{(2\pi {)}^{\frac{D}{2}}|\Sigma {|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}dx$$
为了方便表示，我们用$p(x)$表示多元高斯分布的概率，所以我们就可以得到:
$$H[x]=-\int p(x)\log \frac{1}{(2\pi {)}^{\frac{D}{2}}|\Sigma {|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}dx$$
$$=\int p(x)(\frac{D}{2}\ln (2\pi )+\frac{1}{2}\ln |\Sigma |)dx+\frac{1}{2}\int p(x)(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )dx$$
$$=\frac{D}{2}\ln (2\pi )+\frac{1}{2}\ln |\Sigma |+\frac{1}{2}\int p(x)(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )dx$$
现在我们只要处理右边的项就可以了，对于右边的项，我们也可以对于最后一项中的标量用Trace Track[3]进行求解
$$\int p(x)(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )dx=\int p(x)tr((x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))dx$$
$$=\int p(x)tr({\Sigma }^{-1}(x-\mu {)}^T(x-\mu ))dx=\int tr({\Sigma }^{-1}p(x)(x-\mu {)}^T(x-\mu ))dx$$
$$=tr({\Sigma }^{-1}\int p(x)(x-\mu {)}^T(x-\mu )dx)=tr({\Sigma }^{-1}\Sigma )=tr(I)=D$$
带入到最后的式子中，我们可以得到
$$H[x]=\frac{D}{2}\log (2\pi )+\frac{1}{2}\log |\Sigma |+\frac{1}{2}D$$

引用

[1]从多元高斯分布推导其熵
[2]从概念推导熵最大值
[3]矩阵的迹的技巧