【信息论】互信息I(X;Y)中H(X)怎么推导出来——p(x)怎么变成p(x,y)

Vincent__Lai

于 2019-06-16 21:01:30 发布

阅读量1.6w

点赞数 21

分类专栏：信息论文章标签：信息论

本文链接：https://blog.csdn.net/weixin_38705903/article/details/92428757

版权

本文从公式和实际含义两个角度详细解释了在互信息I(X;Y)的推导过程中，如何将-H(X)转换为-∑x∑yp(x,y)log2p(x)。通过假设模型和实际场景举例，阐述了熵H(X)与条件熵H(X|Y)的关系，帮助理解信息论中的这一重要概念。" 108875591,1502959,Aviator表达式在数据过滤中的注意事项与异常处理,"['aviator', '数据处理', '正则表达式', '数据过滤', 'Java']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题

在研究互信息I(X;Y)时，存在：
$I (X; Y) = H (X) - H (X ∣ Y)$
推导过程为：
$-\sum_{x}{p(x)log_2{p(x)}}$
$-\sum_{x}\sum_{y}{p(x,y)log_2{p(x|y)}}$
$=-\sum_{x}{p(x)log_2{p(x)}}+\sum_{x}\sum_{y}{p(x,y)log_2{p(x|y)}} \\ =-\sum_{x}\sum_{y}{p(x,y)log_2{p(x)}}+\sum_{x}\sum_{y}{p(x,y)log_2{p(x|y)}} \\ =-\sum_{x}\sum_{y}{p(x,y)(log_2{p(x)}-log_2{p(x|y)}}) \\ =\sum_{x}\sum_{y}{p(x,y)(log_2{p(x|y)}}-log_2{p(x)}) \\ =\sum_{x}\sum_{y}{p(x,y)log_{2}}\frac{p(x|y)}{p(x)} \\ =\sum_{x}\sum_{y}{p(x,y)log_{2}}\frac{p(x,y)}{p(x)p(y)} \\ =I(X;Y)$

最低0.47元/天解锁文章