隐蔽通信中KL散度多码字联合与单码字分布

假设多个码字的观测是独立的，KL散度的推导可以利用独立性的性质来进行。KL散度是两个概率分布之间的非对称度量，表示了从一个分布到另一个分布的信息丧失情况。设每个码字的两个观测分布分别为 $P$ 和 $Q$，我们想推导多个独立码字对应的两个观测分布 $P_{\text{multi}}$ 和 $Q_{\text{multi}}$ 之间的KL散度。

单个码字的KL散度

对于单个码字，KL散度的定义是：
$$D_{\text{KL}}(P\Vert Q)=\sum _{x}P(x)\log \frac{P(x)}{Q(x)}$$
其中，$P(x)$ 和 $Q(x)$ 是单个码字观测的两个分布。

多个独立码字的KL散度

假设我们有 $n$ 个码字的独立观测，每个码字的分布是 $P(x)$ 和 $Q(x)$。由于这些观测是独立的，多个码字的联合分布 $P_{\text{multi}}$ 和 $Q_{\text{multi}}$ 分别是各个码字分布的乘积，即：
$$P_{\text{multi}}(x_1,x_2,\dots ,x_n)=\prod _{i=1}^{n}P(x_i)$$
$$Q_{\text{multi}}(x_1,x_2,\dots ,x_n)=\prod _{i=1}^{n}Q(x_i)$$

因此，多个码字的联合分布间的KL散度为：
$$D_{\text{KL}}(P_{\text{multi}}\Vert Q_{\text{multi}})=\sum _{x_1,x_2,\dots ,x_n}{P}_{\text{multi}}(x_1,x_2,\dots ,x_n)\log \frac{P_{\text{multi}}(x_1,x_2,\dots ,x_n)}{Q_{\text{multi}}(x_1,x_2,\dots ,x_n)}$$
代入联合分布的表达式：
$$D_{\text{KL}}(P_{\text{multi}}\Vert Q_{\text{multi}})=\sum _{x_1,x_2,\dots ,x_n}\prod _{i=1}^{n}P(x_i)\log \frac{{\prod }_{i=1}^{n}P(x_i)}{{\prod }_{i=1}^{n}Q(x_i)}$$

利用对数的性质，得到：
$$D_{\text{KL}}(P_{\text{multi}}\Vert Q_{\text{multi}})=\sum _{x_1,x_2,\dots ,x_n}\prod _{i=1}^{n}P(x_i)\sum _{i=1}^n\log \frac{P(x_i)}{Q(x_i)}$$
$$=\sum _{i=1}^n\sum _{x_i}P(x_i)\log \frac{P(x_i)}{Q(x_i)}$$

这说明多个码字的联合分布的KL散度是每个独立码字的KL散度之和，即：
$$D_{\text{KL}}(P_{\text{multi}}\Vert Q_{\text{multi}})=\sum _{i=1}^n{D}_{\text{KL}}(P\Vert Q)$$

结论

对于 $n$ 个独立的码字，联合分布的KL散度是单个码字的KL散度的简单叠加，即：
$$D_{\text{KL}}(P_{\text{multi}}\Vert Q_{\text{multi}})=n\cdot D_{\text{KL}}(P\Vert Q)$$

这表明当观测是独立时，多个码字的KL散度就是每个码字的KL散度乘以码字的数量 $n$。