微分熵和连续随机变量的信息度量【**】

在离散随机变量（RV）信息度量的基础上，我们可以引入适用于连续随机变量的相应信息度量。这涉及到用积分替换离散情形下的求和操作，从而定义微分熵（differential entropy）。

1. 微分熵的定义

对于一个连续随机变量 $X$，其概率密度函数（pdf）为 $p(x)$。微分熵 $H(X)$ 的定义为：
$$H(X)=-\int p(x)\log \left(\frac{1}{p(x)}\right)dx=-\int p(x)\log (p(x))dx$$
这个公式看起来与离散随机变量的熵公式类似，只是将离散情况下的求和符号替换为了积分符号，因为我们现在处理的是连续概率密度函数。

2. 微分熵与离散熵的不同之处

需要注意的是，微分熵并不直接表示连续信源发出的平均信息量，与离散熵有很大的不同。原因在于：

• 在离散熵中，概率 $p(x)$ 是特定事件的概率，能够表示某个事件发生时的不确定性和信息量。
• 然而，在连续情形下，$p(x)$ 是概率密度，它描述的是随机变量在某个点附近取值的可能性，而不是某个具体事件的概率。因为概率密度函数的值可以是任意非负实数，不再局限于离散情况下的概率，因此直接使用微分熵来度量信息量并不是完全合适。

3. 离散化方法

为了更好地理解连续随机变量的信息度量，我们可以通过离散化的方法来近似微分熵。即，将连续随机变量 $X$ 按照一个很小的区间宽度 $\Delta$ 进行离散化，这样每个区间上的概率可以近似为：
$$p(x)\Delta$$
此时，离散化后的熵可以表示为：
$$H_{\Delta }(X)=-\sum _{i}p(x_i)\log (p(x_i)\Delta )$$
随着区间宽度 $\Delta$ 越来越小，熵的值会趋近于微分熵的表达式。

4. 微分熵的直观解释

虽然微分熵不再是离散情形下的平均信息量，但它仍然可以表示随机变量值的分布不确定性。如果 $p(x)$ 很均匀分布，微分熵会较大，表示较高的不确定性。如果 $p(x)$ 在某些区域集中，微分熵会较小，表示随机变量更“集中”。

5. 连续随机变量信息度量的例子

假设我们有一个均匀分布的随机变量 $X$ 在区间 [0, 1] 上，其概率密度函数为：
$$p(x)=1,x\in [0,1]$$
此时，微分熵可以计算为：
$$H(X)=-{\int }_0^{1}1\cdot \log (1)dx=0$$
因此，对于均匀分布在有限区间上的随机变量，其微分熵为零，表示没有额外的不确定性。

微分熵（differential entropy）的公式解释

1. 离散化连续随机变量

对于连续随机变量，我们用概率密度函数（pdf） $p(x)$ 来描述。为了将连续的情形转化为离散熵，我们可以将连续的随机变量离散化。具体来说，我们将 $X$ 分成很多很小的区间（称为“bin”），每个区间的宽度为 $\Delta$。

当区间非常小（即 $\Delta \to 0$）时，概率可以近似表示为 $p(x_i)\Delta$。因此，离散化后的熵可以表示为：
$$H^{\Delta }(X)=\sum _{i}p(x_i)\Delta \log \left(\frac{1}{p(x_i)\Delta }\right)$$

2. 展开公式

文中公式的推导过程解释了这个离散化熵的公式如何展开成两部分：
$$H^{\Delta }(X)=\sum _{i}p(x_i)\Delta \log \left(\frac{1}{p(x_i)}\right)+\sum _{i}p(x_i)\Delta \log \left(\frac{1}{\Delta }\right)$$

分析：

• 第一部分：$\sum p(x_i)\Delta \log \left(\frac{1}{p(x_i)}\right)$，当 $\Delta \to 0$ 时，这部分趋近于微分熵的定义：
  $$H(X)=-\int p(x)\log p(x)dx$$
  这就是公式 (3.11) 中提到的微分熵。

• 第二部分：$\sum p(x_i)\Delta \log \left(\frac{1}{\Delta }\right)$，这是一个与 $p(x)$ 无关的项。这个项的和为：
  $$\log \Delta$$
  当 $\Delta \to 0$ 时，这个项趋向于负无穷大，说明当区间宽度趋近于零时，离散化熵趋于无穷大。这反映了连续随机变量有无限多的可能值，因此它带来的不确定性也趋于无穷。

3. 微分熵的物理意义

如上所述，微分熵并不像离散熵那样直接表示平均信息量，这是因为连续随机变量的概率密度函数是一个连续值，而不是离散的概率值。微分熵仅在计算两个不同分布的差异时具有意义。例如，互信息（mutual information） 是通过两个熵的差值来计算的，而这些差值不会受到 $-\log \Delta$ 项的影响。
微分熵的互信息的公式解释

4. 最大微分熵

对于给定总功率 ${\sigma }^2$ 的所有连续随机变量来说，具有最大微分熵的是零均值的高斯分布。其最大值为：
$$H=\frac{1}{2}{\log }_2(2\pi e{\sigma }^2)$$
这意味着在相同功率限制下，高斯分布的微分熵最大，因此高斯分布在信道容量计算中具有特别重要的作用。

6. 互信息的定义

最后，互信息 $I(X;Y)$ 的定义，用于描述两个随机变量之间共享的信息量。互信息可以表示为：
$$I(X;Y)=H(X)-H(X|Y)$$
其中 $H(X|Y)$ 是条件熵，表示在已知 $Y$ 的情况下关于 $X$ 的不确定性。

互信息的公式也可以写为：
$$I(X;Y)=\int \int p(x,y)\log \left(\frac{p(x,y)}{p(x)p(y)}\right)dxdy$$
这表明 $I(X;Y)$ 衡量了 $X$ 和 $Y$ 之间的统计依赖性。如果 $X$ 和 $Y$ 是独立的，互信息为零。

例子：高斯信道中的互信息计算

场景设定：

假设我们有一个简单的加性高斯白噪声信道（AWGN），用于传输信号。该信道模型表示接收的信号 $Y$ 由发送的信号 $X$ 和一个独立的高斯噪声 $N$ 组成，公式如下：
$$Y=X+N$$
其中：

• $X$ 是发送端的信号，假设它服从均值为 0、方差为 ${\sigma }_X^2$ 的高斯分布。
• $N$ 是噪声，假设它服从均值为 0、方差为 ${\sigma }_N^2$ 的高斯分布，独立于 $X$。
• $Y$ 是接收端的信号。

我们要计算这个信道中的互信息 $I(X;Y)$，即在接收到信号 $Y$ 之后，能够获得的关于 $X$ 的信息量。

例子

1. 微分熵的计算

首先，我们需要分别计算 $X$、$Y$ 以及条件熵 $H(X|Y)$ 的微分熵。

（1）$X$ 的微分熵

因为 $X$ 是均值为 0、方差为 ${\sigma }_X^2$ 的高斯随机变量，根据高斯分布的微分熵公式，我们知道：
$$H(X)=\frac{1}{2}{\log }_2(2\pi e{\sigma }_X^2)$$

（2）$Y$ 的微分熵

同理，$Y$ 也是一个高斯分布，因为它是 $X$ 和高斯噪声 $N$ 的和。根据高斯随机变量的性质，$Y$ 的方差为 ${\sigma }_Y^2={\sigma }_X^2+{\sigma }_N^2$，所以 $Y$ 的微分熵为：
$$H(Y)=\frac{1}{2}{\log }_2(2\pi e({\sigma }_X^2+{\sigma }_N^2))$$

（3）$X|Y$ 的条件熵

条件熵 $H(X|Y)$ 表示在给定 $Y$ 的情况下，关于 $X$ 的剩余不确定性。由于 $N$ 是独立的噪声，因此 $X|Y$ 也是一个高斯随机变量，其方差为噪声的方差 ${\sigma }_N^2$。因此，条件熵为：
$$H(X|Y)=\frac{1}{2}{\log }_2(2\pi e{\sigma }_N^2)$$

2. 互信息的计算

互信息 $I(X;Y)$ 的公式为：
$$I(X;Y)=H(X)-H(X|Y)$$
现在我们将上述计算的结果代入这个公式中：
$$I(X;Y)=\frac{1}{2}{\log }_2(2\pi e{\sigma }_X^2)-\frac{1}{2}{\log }_2(2\pi e{\sigma }_N^2)$$

经过简化，互信息变为：
$$I(X;Y)=\frac{1}{2}{\log }_2\left(\frac{{\sigma }_X^2}{{\sigma }_N^2}\right)$$

这个结果表明，互信息取决于信号的功率 ${\sigma }_X^2$ 和噪声的功率 ${\sigma }_N^2$ 之比（即信噪比 SNR）。信噪比越高，互信息越大，说明可以从接收到的 $Y$ 中提取到更多关于 $X$ 的信息。

3. 解释公式

• $H(X)$：这是发送信号 $X$ 的熵，表示信源发送的信息量。它取决于信号的方差 ${\sigma }_X^2$。
• $H(X|Y)$：这是接收到信号 $Y$ 之后关于 $X$ 的不确定性。它反映了噪声 $N$ 对信号的影响，因此它取决于噪声的方差 ${\sigma }_N^2$。
• 互信息 $I(X;Y)$：表示接收信号 $Y$ 中包含的关于 $X$ 的信息量。它与信噪比 $\frac{{\sigma }_X^2}{{\sigma }_N^2}$ 成正比，信噪比越大，互信息越多。

4. 信道容量

在这种 AWGN 信道中，互信息的最大值（即信道容量）对应于最佳的传输速率。这个信道容量的公式是：
$$C=\frac{1}{2}{\log }_2(1+\text{SNR})$$
其中，SNR（信噪比）为 $\frac{{\sigma }_X^2}{{\sigma }_N^2}$。

总结

• 这个例子展示了如何使用微分熵和互信息的公式来计算在有噪声信道中的信息传输能力。
• 我们通过计算 $X$、$Y$ 和 $X|Y$ 的微分熵，得出了 $X$ 和 $Y$ 之间的互信息，这个值反映了接收到的信号中包含多少关于发送信号的可靠信息。
• 信噪比越高，互信息越大，这表明接收端可以更准确地恢复发送端的信息。