- 博客(2)
- 收藏
- 关注
RSS订阅原创 互信息量的凸性证明：给定p(x)下I(X,Y)的凸性
给定p(x)下I(X,Y)的凸性在p(x)给定的情况下，我们考虑这样两个分布p1(x,y)与p2(x,y) p_1(x,y)与p_2(x,y)p1(x,y)与p2(x,y)满足p1(x,y)=p(x)p1(y∣x),p2(x,y)=p(x)p2(y∣x) p_1(x,y) = p(x)p_1(y|x),p_2(x,y) = p(x)p_2(y|x)p1(x,y)=p(x)p1(y∣x),p2(x,y)=p(x)p2(y∣x)则这两个分布的边缘分布就是p(x),p1(y),p(x),p2(y)
2021-11-11 10:05:10
1536
4
原创 信息论相对熵的凸性证明
相对熵的凸性证明相对熵的定义式：D(p∣∣q)=∑x∈Xp(x)log2p(x)q(x)D(p||q) = \sum_{x\in X} p(x)\log_2^{\cfrac {p(x)}{q(x)}}D(p∣∣q)=x∈X∑p(x)log2q(x)p(x)欲证明相对熵是下凸函数即证明不等式D(λp1(x)+(1−λp2(x))∣∣λq1(x)+(1−λq2(x)))≤λD(p1(x)∣∣q1(x))+(1−λ)D(p2(x)∣∣q2(x)) D(\lambda p_1(x)+(1-\lambda
2021-11-10 10:29:38
2978
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人