最近用到信息论的知识表较多,自己也总结下。
1 信息熵(entropy)
定义式:
其中P(x)是变量出现的概率。从直观上,信息熵越大,变量包含的信息量越大,变量的不确定性也越大。一个事物内部会存在随机性,也就是不确定性,而从外部消除这个不确定性唯一的办法是引入信息。如果没有信息,任何公式或者数字的游戏都无法排除不确定性。几乎所有的自然语言处理,信息与信号处理的应用都是一个消除不确定性的过程。
2 条件熵(conditional entropy)
知道的信息越多,随机事件的不确定性就越小。
定义式:
3 联合熵
设X Y为两个随机变量,对于给定条件Y=y下&#