最近用到信息论的知识表较多，自己也总结下。
1 信息熵（entropy）
定义式：
其中P(x)是变量出现的概率。从直观上，信息熵越大，变量包含的信息量越大，变量的不确定性也越大。一个事物内部会存在随机性，也就是不确定性，而从外部消除这个不确定性唯一的办法是引入信息。如果没有信息，任何公式或者数字的游戏都无法排除不确定性。几乎所有的自然语言处理，信息与信号处理的应用都是一个消除不确定性的过程。
2 条件熵（conditional entropy）
知道的信息越多，随机事件的不确定性就越小。
定义式：
3 联合熵
设X Y为两个随机变量，对于给定条件Y=y下&#
最低0.47元/天 解锁文章
978
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
