微分熵（Differential Entropy）与连续分布的随机变量（正态分布、均匀分布、指数分布）

微分熵（Differential Entropy）是信息论中的一个概念，它是用来衡量连续随机变量的“不确定性”或“信息量”的。微分熵与离散熵类似，区别在于微分熵用于描述连续信号或变量的“平均信息量”。它适用于描述连续分布的随机变量，例如正态分布、均匀分布、指数分布等。

1. 微分熵的基本定义

对于一个连续随机变量 $$X$$，其概率密度函数（PDF）为 $$p(x)$$，那么它的微分熵 $$H(X)$$ 定义为：

$$H(X)=-{\int }_{-\infty }^{+\infty }p(x)\log p(x)dx$$

这里：

• $$p(x)$$ 是 $$X$$ 的概率密度函数（PDF），表示在某个点 $$x$$ 处的概率密度。
• $$\log$$ 是以自然对数为底（可以使用 $${\log }^{}$$