神经网络loss

loss function

MSE

• mean square error，即均方根误差，即

$$L = \frac{1}{N}\sum\limits_{i = 1}^N {{{({y_{pred}} - {y_{true}})}^2}}$$

MAE

• mean absolute error，即平均绝对值误差，即

$$L = \frac{1}{N}\sum\limits_{i = 1}^N {\left| {{y_{pred}} - {y_{true}}} \right|}$$

cross entropy

• 二分类：以logistic回归为代表

$$- \frac{1}{N}\sum\limits_{i = 1}^N {[{y_i}\log {p_i} + (1 - {y_i})log(1 - {p_i})]}$$

• 多分类：以softmax loss为代表，每个样本的loss为

$$- \sum\limits_{i = 1}^N {{y_i}\log {p_i}}$$

smooth L1 loss

• 公式如下：

$$\begin{split}f(x) = \begin{cases} (\sigma x)^2/2,& \text{if }x < 1/\sigma^2\\ |x|-0.5/\sigma^2,& \text{otherwise} \end{cases}\end{split}$$

$\sigma$是scaler系数，一般设置为1。这个在bounding box regression loss中常用。

KL散度(kullback_leiber_divergence)

• 指的是两个概率分布P和Q差别的非对称性的度量。典型情况下，P表示数据的真实分布，Q表示数据的理论分布、模型分布或P的近似分布。
• 参考链接：https://zhuanlan.zhihu.com/p/28047686