参考:
http://www.cnblogs.com/fantasy01/p/4581803.html?utm_source=tuicool
http://blog.csdn.net/xbmatrix/article/details/58248347
https://www.zhihu.com/question/41252833/answer/141598211
1、信息
引用香农的话,信息是用来消除随机不确定性的东西,则某个类(xi)的信息定义如下:
2、信息熵
信息熵便是信息的期望值,可以记作:
熵只依赖X的分布,和X的取值没有关系,熵是用来度量不确定性,当熵越大,概率说X=xi的不确定性越大,反之越小,在机器学期中分类中说,熵越大即这个类别的不确定性更大,反之越小,当随机变量的取值为两个时,熵随概率的变化曲线如下图:
当p=0或p=1时,H(p)=0,随机变量完全没有不确定性,当p=0.5时,H(p)=1,此时随机变量的不确定性最大
更特别一点,如果是个二分类系统,那么此系统的熵为:
H(X)=-(P(c0)log2p(c0)+p(c1)log2