Pinsker’s inequality(信息散度和变分距离之间的不等式)

Pinsker’s inequality

$$D\left(P_1\Vert P_2\right)\ge \frac{1}{2\ln 2}{\Vert P_1-P_2\Vert }_1^2$$

证明

二进制

首先证明二进制的情况，考虑两个参数分别为$p,q,p\ge q$的二进制分布。我们需要证的是：
$$p\log \frac{p}{q}+(1-p)\log \frac{1-p}{1-q}\ge \frac{4}{2\ln 2}(p-q{)}^2$$不等式两边的差$g(p,q)$：
$$g(p,q)=p\log \frac{p}{q}+(1-p)\log \frac{1-p}{1-q}-\frac{4}{2\ln 2}(p-q{)}^2$$
对$q$求导得$$\begin{array}{rl}\frac{dg(p,q)}{dq}& =-\frac{p}{q\ln 2}+\frac{1-p}{(1-q)\ln 2}-\frac{4}{2\ln 2}2(q-p)\\ & \\ & =\frac{q-p}{q(1-q)\ln 2}-\frac{4}{\ln 2}(q-p)\\ & \\ & \le 0\end{array}$$最后一步因为$q(1-q)\le 1/4$，$q\le p$。
当$q=p$时，有$g(p,q)=0$，所以当$q\le p$时候，$g(p,q)\ge 0$，不等式得证。

一般的情况

对于任意两个分布$P_1,P_2$，记：
A = { x : P 1 ( x ) > P 2 ( x ) } A=\left\{x: P_1(x)>P_2(x)\right\} A={x:P1​(x)>P2​(x)}定义一个新的二进制随机变量$Y=\varphi (X)$，集合$A$的指示器，记${\hat{P}}_1,{\hat{P}}_2$是$Y$的分布，是$P_1,P_2$的量化版本。
将data-processing inequality应用到相对熵中得到：
$$\begin{array}{rl}D\left(P_1\Vert P_2\right)& \ge D\left({\hat{P}}_1\Vert {\hat{P}}_2\right)\\ & \\ & \ge \frac{4}{2\ln 2}{\left(P_1(A)-P_2(A)\right)}^2\\ & \\ & =\frac{1}{2\ln 2}{\Vert P_1-P_2\Vert }_1^2,\end{array}$$

变分距离

任意两个分布之间的变分距离定义为：
$${\Vert P_1-P_2\Vert }_1=\sum _{a\in \mathcal{X}}\left|P_1(a)-P_2(a)\right|$$记：
A = { x : P 1 ( x ) > P 2 ( x ) } A=\left\{x: P_1(x)>P_2(x)\right\} A={x:P1​(x)>P2​(x)}有
$$\begin{array}{rl}{\Vert P_1-P_2\Vert }_1& =\sum _{x\in \mathcal{X}}\left|P_1(x)-P_2(x)\right|\\ & \\ & =\sum _{x\in A}\left(P_1(x)-P_2(x)\right)+\sum _{x\in A^c}\left(P_2(x)-P_1(x)\right)\\ & \\ & =P_1(A)-P_2(A)+P_2\left(A^c\right)-P_1\left(A^c\right)\\ & \\ & =P_1(A)-P_2(A)+1-P_2(A)-1+P_1(A)\\ & \\ & =2\left(P_1(A)-P_2(A)\right).\end{array}$$