![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
信息论
文章平均质量分 88
Vincent__Lai
这个作者很懒,什么都没留下…
展开
-
【算法】用计算机思维求解“12个硬币其中一个为假,三次称量找到假硬币”问题(附代码)
背景题目是这样子的:有12枚硬币,其中有一枚假币,而且真币与假币谁轻谁重不知,如何通过三次称量判断出哪枚是假币?这是一道很经典的逻辑推理题,乍一看感觉很想脑筋急转弯,但是其实完全可以用计算机思维去系统的解这道题。如果能够掌握系统的思维,这样就可以举一反三,解决更多的问题。——毕竟总不能啥都用人都推理吧?万一数据量变大了怎么办呢?例如39个硬币称4次要怎么称?这道题的关键:状态。——天平的状态、硬币的状态。思路首先,天平的状态只有3种可能:左边重、右边重、平衡。如果用计算机语言表示:左边重原创 2022-03-19 10:35:01 · 4368 阅读 · 0 评论 -
【信息论】互信息I(X;Y)中H(X)怎么推导出来——p(x)怎么变成p(x,y)
在研究互信息I(X;Y)时,存在:I(X;Y)=H(X)−H(X∣Y)I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(X)−H(X∣Y)推导过程为:H(X)=−∑xp(x)log2p(x)H(X) = -\sum_{x}{p(x)log_2{p(x)}}H(X)=−x∑p(x)log2p(x)H(X∣Y)=−∑x∑yp(x,y)log2p(x∣y)H(X|Y) = -\sum_{...原创 2019-06-16 21:01:30 · 13876 阅读 · 4 评论 -
【信息论】图形记忆熵、联合熵、条件熵、互信息之间的关系
图片取自http://colah.github.io/posts/2015-09-Visual-Information/基本概念(1)熵,也叫信息熵,为上图的H(X)H(X)H(X)与H(Y)H(Y)H(Y)。H(X)H(X)H(X)表示随机变量YYY的不确定性。H(Y)H(Y)H(Y)表示随机变量XXX的不确定性。(2)条件熵,为上图的H(X∣Y)H(X|Y)H(X∣Y)与H(Y∣X...原创 2019-09-20 12:44:12 · 2525 阅读 · 0 评论