3D机器学习（6）：交叉熵（cross entropy loss），一种收敛更快的损失函数

1、交叉熵（cross entropy loss）简介

熵=entropy=不确定性=惊讶的度量。越高的熵越低的信息度，因此不确定性或者混乱性越高，熵越高。

数学定义，把所有事情的概率通过下式计算。比如概率分比为：0.001、0.001、0.001、0.999，则其熵=0.0313，非常小，说明稳定性较大，基本上事实仅由概率为0.999的事情给主宰。

但当概率均为0.25时，说明不确定性很大，四者皆可能发生，所以熵比较大=2

交叉熵