互信息量的凸性证明：给定p(x)下I(X,Y)的凸性

给定p(x)下I(X,Y)的凸性

在p(x)给定的情况下，我们考虑这样两个分布$$p_1(x,y)与p_2(x,y)$$满足$$p_1(x,y)=p(x)p_1(y|x),p_2(x,y)=p(x)p_2(y|x)$$
则这两个分布的边缘分布就是$$p(x),p_1(y),p(x),p_2(y)$$
考虑这样的一个条件分布$$p_{\lambda }(y|x)=\lambda p_1(y|x)+(1-\lambda )p_2(y|x)(0\le \lambda \le 1)$$
那么对应的联合分布就是$$p_{\lambda }(x,y)=\lambda p_1(x,y)+(1-\lambda )p_2(x,y)(0\le \lambda \le 1)$$
同样边缘分布为$$p_{\lambda }(y)=\lambda p_1(y)+(1-\lambda )p_2(y)(0\le \lambda \le 1)$$
如果我们令$$q_{\lambda }(x,y)=p(x)p_{\lambda }(y|x)$$
则$$q_{\lambda }(x,y)=\lambda q_1(x,y)+(1-\lambda )q_2(x,y)(0\le \lambda \le 1)$$
此时$$I(X;Y)=\sum _{x\in X}\sum _{y\in Y}{p}_{\lambda }(x,y)lo{g}_2^{\frac{p_{\lambda }(y|x)}{p(x)}}$$
而·$$D(p_{\lambda }(x,y)||q_{\lambda }(x,y))=\sum _{x\in X}\sum _{y\in Y}{p}_{\lambda }(x,y)lo{g}_2^{\frac{p_{\lambda }(x,y)}{q_{\lambda }(x,y)}}=\sum _{x\in X}\sum _{y\in Y}{p}_{\lambda }(x,y)lo{g}_2^{\frac{p_{\lambda }(y|x)}{p(x)}}=I(X;Y)$$
因为相对熵是个下凸函数，所以在p(x)给定时I(X;Y)也是下凸函数。