引入:热力学中的熵
熵:被用来计算一个系统中的失序现象 , 是衡量一个系统混乱程度(无序性)的度量 。
规则排列的状态 低熵
混乱的状态 高熵
热力学第二定律:
物质世界的状态总是自发地转变为无序 由低熵变为高熵
如 : 气体的扩散
一个密封的箱子 中间放一个隔板 在隔板左边空间注入烟 抽走隔板
左边的烟自然(自发)地向右扩散 最后均匀地占满整个箱体 (熵增原理 -> 自然界越来越无序)
这个过程是不可逆的 (除非有外界因素干扰) 如人为地增加压力使压强增大。
栗子:
举一个高中课本上的例子,我们存放在抽屉中的火柴,火柴都是整齐排列的,这时熵比较小;散落在地上的火柴是混乱,熵 比较大。 同样,放在抽屉中的火柴我们用来描述它的所需要的存储单元就少,我们可以用一句话就可以描述;50根火柴朝右。但是散落在地上的火柴,却需要这样描述,有50根火柴,其中10根朝向左,10根朝向右,10根朝上,20根朝下。
可见 :信息熵和热力学熵正相关的,热力学熵越大,系统越混乱,需要用越多的存储单元来描述,信息熵也越大;热力学熵越小,系统越有序,需要小的存储单元来描述,信息熵也就越小。
信息熵
当我们不知道某事物具体状态,却知道它有几种可能性时,显然,可能性种类愈多,不确定性愈大。不确定性愈大的事物,我们最后确定了、知道了,这就是说我们从中得到了愈多的信息,也就是信息量大。
所以,熵、不确定性、信息量,这三者是同一种度量。
1.香农熵(信息熵)
1.用概率的倒数的对数来度量不肯定程度 H(X) = log(1/p) = -log(p)。
2.随机变量自信息量I(xi)的数学期望(平均自信息量),用H(X)表示: 是随机变量和发生概率相乘再求和的数学期望
特别的: 如果是个二分类系统,(其中p(C0),p(C1) 分别为正负样本出现的概率。)那么此系统的熵为:
2.条件熵(Conditional Entropy)
![](https://i-blog.csdnimg.cn/blog_migrate/5a009e0e9ab541eb6a2ce3cf07c67230.png)
![](https://i-blog.csdnimg.cn/blog_migrate/059ec21dd4895b2b392889e96b596119.png)
![](https://i-blog.csdnimg.cn/blog_migrate/db5e11a57dce0dbbe157aadec1e0be6d.png)
3.信息增益(Information Gain)
定义:因为特征X被固定以后,给系统带来的增益(或者说为系统减小的不确定度)。