信息熵与信息增益

引入:热力学中的熵

 熵：被用来计算一个系统中的失序现象 ， 是衡量一个系统混乱程度（无序性）的度量  。

     规则排列的状态   低熵

     混乱的状态     高熵

热力学第二定律：
物质世界的状态总是自发地转变为无序 由低熵变为高熵
    如 ： 气体的扩散
        一个密封的箱子 中间放一个隔板 在隔板左边空间注入烟 抽走隔板
        左边的烟自然（自发）地向右扩散  最后均匀地占满整个箱体 （熵增原理 -> 自然界越来越无序）

这个过程是不可逆的 （除非有外界因素干扰） 如人为地增加压力使压强增大。

栗子：

举一个高中课本上的例子，我们存放在抽屉中的火柴，火柴都是整齐排列的，这时熵比较小；散落在地上的火柴是混乱，熵 比较大。  同样，放在抽屉中的火柴我们用来描述它的所需要的存储单元就少，我们可以用一句话就可以描述；50根火柴朝右。但是散落在地上的火柴，却需要这样描述，有50根火柴，其中10根朝向左，10根朝向右，10根朝上，20根朝下。

可见 ：信息熵和热力学熵正相关的，热力学熵越大，系统越混乱，需要用越多的存储单元来描述，信息熵也越大；热力学熵越小，系统越有序，需要小的存储单元来描述，信息熵也就越小。

信息熵

        当我们不知道某事物具体状态，却知道它有几种可能性时，显然，可能性种类愈多，不确定性愈大。不确定性愈大的事物，我们最后确定了、知道了，这就是说我们从中得到了愈多的信息，也就是信息量大。

        所以，熵、不确定性、信息量，这三者是同一种度量。

    

1.香农熵（信息熵）

        1.用概率的倒数的对数来度量不肯定程度  H(X) = log(1/p) = -log(p)。

            

        2.随机变量自信息量I(xi)的数学期望（平均自信息量），用H（X）表示： 是随机变量和发生概率相乘再求和的数学期望

                

                

        特别的： 如果是个二分类系统，（其中p(C0),p(C1) 分别为正负样本出现的概率。）那么此系统的熵为:

                

2.条件熵(Conditional Entropy)    

    如何消除系统的不确定性呢？当我们知道的信息越多的时候，自然随机事件的不确定性就越小。

        1.当特征x被固定为值时，条件熵为:

        2.当特征X的整体分布情况被固定时，条件熵为: 

        3.n为特征X所出现所有种类的数量。

            

3.信息增益（Information Gain）

           定义：因为特征X被固定以后，给系统带来的增益(或者说为系统减小的不确定度)。