互信息量的凸性证明:给定p(x)下I(X,Y)的凸性

给定p(x)下I(X,Y)的凸性

在p(x)给定的情况下,我们考虑这样两个分布 p 1 ( x , y ) 与 p 2 ( x , y ) p_1(x,y)与p_2(x,y) p1(x,y)p2(x,y)满足 p 1 ( x , y ) = p ( x ) p 1 ( y ∣ x ) , p 2 ( x , y ) = p ( x ) p 2 ( y ∣ x ) p_1(x,y) = p(x)p_1(y|x),p_2(x,y) = p(x)p_2(y|x) p1(x,y)=p(x)p1(yx),p2(x,y)=p(x)p2(yx)
则这两个分布的边缘分布就是 p ( x ) , p 1 ( y ) , p ( x ) , p 2 ( y ) p(x),p_1(y),p(x),p_2(y) p(x),p1(y),p(x),p2(y)
考虑这样的一个条件分布 p λ ( y ∣ x ) = λ p 1 ( y ∣ x ) + ( 1 − λ ) p 2 ( y ∣ x ) ( 0 ≤ λ ≤ 1 ) p_{\lambda}(y|x) = \lambda p_1(y|x)+(1-\lambda)p_2(y|x)(0 \le \lambda \le 1) pλ(yx)=λp1(yx)+(1λ)p2(yx)(0λ1)
那么对应的联合分布就是 p λ ( x , y ) = λ p 1 ( x , y ) + ( 1 − λ ) p 2 ( x , y ) ( 0 ≤ λ ≤ 1 ) p_{\lambda}(x,y) = \lambda p_1(x,y)+(1-\lambda)p_2(x,y)(0 \le \lambda \le 1) pλ(x,y)=λp1(x,y)+(1λ)p2(x,y)(0λ1)
同样边缘分布为 p λ ( y ) = λ p 1 ( y ) + ( 1 − λ ) p 2 ( y ) ( 0 ≤ λ ≤ 1 ) p_{\lambda}(y) = \lambda p_1(y)+(1-\lambda)p_2(y)(0 \le \lambda \le 1) pλ(y)=λp1(y)+(1λ)p2(y)(0λ1)
如果我们令 q λ ( x , y ) = p ( x ) p λ ( y ∣ x ) q_{\lambda}(x,y) = p(x)p_{\lambda}(y|x) qλ(x,y)=p(x)pλ(yx)
q λ ( x , y ) = λ q 1 ( x , y ) + ( 1 − λ ) q 2 ( x , y ) ( 0 ≤ λ ≤ 1 ) q_{\lambda}(x,y) = \lambda q_1(x,y)+(1-\lambda)q_2(x,y)(0 \le \lambda \le 1) qλ(x,y)=λq1(x,y)+(1λ)q2(x,y)(0λ1)
此时 I ( X ; Y ) = ∑ x ∈ X ∑ y ∈ Y p λ ( x , y ) l o g 2 p λ ( y ∣ x ) p ( x ) I(X;Y) = \sum_{x\in X}\sum_{y \in Y}p_{\lambda}(x,y)log_2^{\cfrac {p_{\lambda}(y|x)}{p(x)}} I(X;Y)=xXyYpλ(x,y)log2p(x)pλ(yx)
而· D ( p λ ( x , y ) ∣ ∣ q λ ( x , y ) ) = ∑ x ∈ X ∑ y ∈ Y p λ ( x , y ) l o g 2 p λ ( x , y ) q λ ( x , y ) = ∑ x ∈ X ∑ y ∈ Y p λ ( x , y ) l o g 2 p λ ( y ∣ x ) p ( x ) = I ( X ; Y ) D(p_{\lambda}(x,y)||q_{\lambda}(x,y)) = \sum_{x\in X}\sum_{y \in Y}p_{\lambda}(x,y)log_2^{\cfrac {p_{\lambda}(x,y)}{q_{\lambda}(x,y)}} = \sum_{x\in X}\sum_{y \in Y} p_{\lambda}(x,y)log_2^{\cfrac {p_{\lambda}(y|x)}{p(x)}} = I(X;Y) D(pλ(x,y)qλ(x,y))=xXyYpλ(x,y)log2qλ(x,y)pλ(x,y)=xXyYpλ(x,y)log2p(x)pλ(yx)=I(X;Y)
因为相对熵是个下凸函数,所以在p(x)给定时I(X;Y)也是下凸函数。

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 4
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值