emmmmmm

转载 机器学习中的熵、条件熵、相对熵和交叉熵（为何使用交叉熵作为损失函数）

1、信息熵 (information entropy)   熵 (entropy) 这一词最初来源于热力学。1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵 (Shannon entropy)，信息熵 (information entropy)。本文只讨论信息熵。首先，我们先来理解一下信息这个概念。信息是一个很抽象的概念，百度百科将它定义为：指音讯、消息、通讯系统...