常用损失函数loss（均方误差、交叉熵）

一、均方误差（Mean Squared Error）

表示预测数据和原始数据对应点误差的平方和的均值，常用于线性回归问题。

公式：

m表示样本数量。

二、交叉熵（cross entropy):

极其有意思的现象：A和B的交叉熵 = A与B的KL散度 - A的熵。

信息论

1、信息量

含义：越不可能发生（概率越小）的事件发生了，其信息量就越大。 

公式：

表示：负对数函数。

2、熵

含义：所有信息量的期望。

公式：

不确定性越大熵越大。

相对熵&KL散度（Kullback-Leibler (KL) divergence）

含义：衡量同一个随机变量 x 的两个单独的概率分布 P(x) 和 Q(x)的差异，KL散度值越小表示两个分布越接近，其就像两个分布之间的距离。

公式：

交叉熵（cross entropy):

含义：和KL散度一样衡量两个分布的差异性，常用于分类问题。

公式：

深度学习中为什么使用交叉熵

目的：求目标值与预测值之间的差距。

对于深度学习中使用交叉熵作为损失函数，其实和采用KL散度没有区别，计算交叉熵更简便。

KL散度公式变形：

公式后半部分恰好为交叉熵，其中熵H(p(x))是不变的。

注：对于深度学习优化时，最小化KL散度等同于最小化交叉熵。

单分类交叉熵

多分类交叉熵