UA MATH636 信息论6 微分熵

之前讨论的熵都是基于离散型随机变量讨论的，现在考虑基于连续型随机变量来定义熵。假设 $X$是连续型随机变量，概率密度函数为 $f(x)$，定义 $X$的支撑集为
S u p p ( X ) = { x : f ( x ) > 0 } Supp(X) = \{x:f(x)>0\} Supp(X)={ x:f(x)>0}

Differential Entropy

定义微分熵为
$$h(X)=-{\int }_{Supp(X)}f(x)\ln f(x)dx$$
因为$f(x)$要用来做对数运算，所以要排除掉$f(x)=0$的部分，一般就把这个积分直接定义在$X$的支撑集上了。

例1（均匀分布的微分熵）
如果$X\sim U[0,a]$，则$f(x)=\frac{1}{a}$，
$$h(X)=-{\int }_0^a\frac{1}{a}\ln \frac{1}{a}dx=\ln a$$

与离散型随机变量的熵不同，微分熵可能为负。在这个例子中，如果$0<a<1$，$h(X)<0$。另外，$e^{h(X)}$表示支撑集$Supp(X)$的Lebesgue测度，即
$$e^{h(X)}=|Supp(X)|$$
在这个例子中，$e^{h(X)}=a$，$a$是区间$[0,a]$的Lebesgue测度。

例2（正态分布的微分熵）
如果$X\sim N(0,{\sigma }^2)$，则
$$\begin{gathered} f(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{x^2}{2{\sigma }^2}) \\ \ln f(x)=-\frac{x^2}{2{\sigma }^2}-\ln \sqrt{2\pi }\sigma \end{gathered}$$
支撑集为$Supp(X)=\mathbb{R}$，从而
$$\begin{gathered} h(X)=-{\int }_{-\infty }^{\infty }f(x)\ln f(x)dx \\ ={\int }_{-\infty }^{\infty }[\frac{x^2}{2{\sigma }^2}+\ln \sqrt{2\pi }\sigma ]f(x)dx \\ =\frac{E{X}^2}{2{\sigma }^2}+\ln \sqrt{2\pi }\sigma = \end{gathered}$$