熵、信息熵、交叉熵以及在机器学习中的应用

今天看到了cross entropy cost function，然后找了找entropy和cross entropy的一些相关资料，现做以下总结。

【熵】

我最开始看到这个字是在学化学竞赛的大神的笔记上，后来在高中化学课上，学到了熵，用来描述一个系统的混乱程度。熵越大，系统越混乱；熵越小，系统越稳定。

【信息熵】

著名的信息论创始人、数学家香农在《通信的数学原理》一文中提到“信息是用来消除随机不确定的东西”。（顺便扯几句，这句话为“要多和别人沟通”这句俗话提供了理论依据，试想在相同条件下，你能充分利用身边的资源为你取来信息，那么消除了随机不确定性，成功的概率是不是就增大了一些呢？）。信息熵就是消除随机不确定性所需要的信息量的度量，也可以说是未知事件可能会含有的信息量。

定义事件所含有的信息量为，事件发生的概率为

                                                                                             

从直观感受来看，一个事件发生的概率越低，这个事件的不确定性就越大，事件所包含的信息量也就越大。

为什么是log？假设两个随机变量是相互独立的，那么分别观测两个信息所得到的信息量和同时观测两个变量的信息量应当相同。即，而从概率上来讲，两个独立随机变量。所以，这种乘法到加法的变换，符合对数运算：。（方便理解，省略了负号）

【交叉熵】

给定两个分布，，我们用交叉熵来衡量两个分布之间的差异性。

                                                                           

如果两个分布是一致的，那H就为0。

【交叉熵损失函数】

如果把交叉熵用在分类问题的损失函数中，我们可以定义

                                                                           

k为类的数目，m为样本的数目。

如果对应到二分类问题上，设=p，label为y，那么损失函数就变为了：

                                                              

当y=0,p=0；或者y=1,p=1的时候，损失都为0，也就是说预测的完全正确。当y=0，p=1的时候，损失为无穷，也就是说，预测的十分糟糕。

以上就是我的一些理解。