26、信息论中多种概念的深入剖析与应用探讨

信息论中多种概念的深入剖析与应用探讨

1. 互信息局部化的替代方法

在互信息的局部化研究中，存在多种方法。有一种替代方法提出了部分局部化的概念，计算特定值 $y_n$ 关于变量 $X$ 可能取值的信息量 $I(y_n; X)$，并且要求该部分局部化值在 $y_n$ 上的平均值等于平均互信息 $I(Y; X)$，即：
$I(Y; X) = \sum_{y_n} p(y_n)I(y_n; X)$

满足此要求的传统表达式为：
$I_1(y_n; X) = \sum_{x_n} p(x_n | y_n) \log_2 \frac{p(x_n | y_n)}{p(x_n)}$

同时，还有一种替代的部分局部互信息，定义为已知 $y_n$ 时 $X$ 的不确定性的减少：
$I_2(y_n; X) = H_X - H_{X|y_n}$
进一步展开可得：
$I_2(y_n; X) = -\sum_{x_n} p(x_n) \log_2 p(x_n) + \sum_{x_n} p(x_n | y_n) \log_2 p(x_n | y_n)$

虽然 $I_1$ 和 $I_2$ 都满足上述约束条件，但它们对于 $I(y_n; X)$ 给出了不同的值。重要的是，$I_1$ 是非负的，而 $I_2$ 独特地满足了多源信息的可加性：
$I({y_n, z_n} ; X) = I(y_n; X) + I(z_n; X | y_n)$

1.1 完全局部化的情况

在完全局部化中，计算值 $y_n$ 关于变量 $X$ 在时间步 $n$ 实际取值 $x_n$ 的信息量 $i(y_n; x_n)$