Pinsker 不等式的简单证明

Pinsker 不等式的简单证明

网上有很多很多关于 Pinsker 不等式的证明方法，但是我没有看到一个用数学归纳法证明的，也没有看到一个不加先验定义的自包含的证明。下面我给出一个关于一个极简的证明。任何的引用请注明本出处。

Pinsker 不等式

请证明如下不等式：
$$\sum _{i=1}^n{a}_i\ln \frac{a_i}{b_i}\ge \sum _{i=1}^n(a_i-b_i{)}^2$$
此处，$a_i\ge 0,b_i\ge 0,i=1,\cdots ,n$，且${\sum }_{i=1}^n{a}_i=1,{\sum }_{i=1}^n{b}_i=1$。

准备工作

引理 1：$p_1,p_2,q_1,q_2$都是正实数，那么
$$p_1\ln \frac{p_1}{q_1}+p_2\ln \frac{p_2}{q_2}\ge (p_1+p_2)\ln \frac{p_1+p_2}{q_1+q_2}$$

证明：
令
$$r=\frac{p_1+p_2}{q_1+q_2}$$.
只要证：
$$p_1\ln \frac{p_1}{r{q}_1}+p_2\ln \frac{p2}{r{q}_2}\ge 0$$.
容易验证，$\ln x\ge 1-\frac{1}{x},\forall x\ge 0$。则有，
$$p_1\ln \frac{p_1}{r{q}_1}+p_2\ln \frac{p2}{r{q}_2}\ge p_1(1-\frac{r{q}_1}{p_1})+p_2(1-\frac{r{q}_2}{p_2})=p_1-r{q}_1+p_2-r{q}_2\ge 0$$.

引理 2：$$\sum _{i=1}^2{a}_i\ln \frac{a_i}{b_i}\ge \sum _{i=1}^2(a_i-b_i{)}^2$$
此处，$a_i\ge 0,b_i\ge 0,i=1,\cdots ,2$，且$a_1+a_2=0,b_1+b_2=0$.

证明：
定义 $f(x)=a_1\ln x+a_2\ln (1-x)$。则，
$$\begin{gathered} f(a_1)-f(b_1)=a_1\ln \frac{a_1}{b_1}+a_2\ln \frac{a_2}{b_2}={\int }_{b_1}^{a_1}f\prime \\ ={\int }_{b_1}^{a_1}\frac{a_1}{x}+\frac{a_a}{x-1}={\int }_{b_1}^{a_1}\frac{a_1-x}{x(1-x)} \\ \ge 4{\int }_{b_1}^{a_1}{a}_1-x=2(a_1-b_1{)}^2=(a_1-b_1{)}^2+(a_2-b_2{)}^2 \end{gathered}$$

证明

数学归纳法证明。
当 $n=2$ 时成立。
假设当 $n=k$ 时成立，即
$$\sum _{i=1}^k{a}_i\ln \frac{a_i}{b_i}\ge \sum _{i=1}^k(a_i-b_i{)}^2$$
那么 $n=k+1$ 时，

令 ${\hat{a}}_i=a_i,{\hat{b}}_i=b_i,i=1,\cdots ,k-1$ ，${\hat{a}}_k=a_k+a_{k+1},{\hat{b}}_k=b_k+b_{k+1}$。则，
$$\begin{gathered} \sum _{i=1}^{k+1}{a}_i\ln \frac{a_i}{b_i}=\sum _{i=1}^{k-1}{a}_i\ln \frac{a_i}{b_i}+a_k\ln \frac{a_k}{b_k}+a_{k+1}\ln \frac{a_{k+1}}{b_{k+1}} \\ \ge \sum _{i=1}^{k-1}{\hat{a}}_i\ln \frac{{\hat{a}}_i}{{\hat{b}}_i}+(a_k+a_{k+1})\ln \frac{a_k+a_{k+1}}{b_k+b_{k+1}}=\sum _{i=1}^k{\hat{a}}_i\ln \frac{{\hat{a}}_i}{{\hat{b}}_i}\ge \sum _{i=1}^k({\hat{a}}_i-{\hat{b}}_i{)}^2 \\ =\sum _{i=1}^{k-1}({\hat{a}}_i-{\hat{b}}_i{)}^2+((a_k+a_{k+1})-(b_k+b_{k+1}){)}^2\ge \sum _{i=1}^{k+1}(a_i-b_i{)}^2 \end{gathered}$$

写得不是很严格，但是应该容易看懂。欢迎指教。

在信息论中，Pinsker 不等式以其发明者Mark Semenovich Pinsker 的名字命名，是根据Kullback-Leibler 散度限制总变异距离（或统计距离）的不等式。不等式紧到常数因子为止。