Cross-Entropy Error、Classification Error、Mean Squared Error

最新推荐文章于 2023-03-06 14:33:12 发布

lpty

最新推荐文章于 2023-03-06 14:33:12 发布

阅读量2.5k

点赞数 1

分类专栏：深度学习文章标签：损失函数

本文链接：https://blog.csdn.net/sinat_33741547/article/details/84033560

版权

本文对比了三种损失函数——分类误差、均方误差和交叉熵误差在神经网络中的表现。在区分性和学习速率方面，交叉熵误差和均方误差能更好地反映数据差异，尤其是交叉熵误差能有效应对激活函数饱和导致的学习速度减慢问题。

摘要由CSDN通过智能技术生成

一、引言

神经网络中，损失函数的选择希望能够有以下效果：
1、不同的预测结果能够产生不同的损失，越好的结果损失要越小
2、在损失较大的情况下，学习的速率要相对较快

二、对比

1、区分性

假设有以下两组数据，computed代表计算出来的概率，targets代表实际的标签，correct代表分类结果是否正确

数据组1：

在这里插入图片描述

数据组2：

在这里插入图片描述

Classification Error

可以看到数据组1的分类损失为：1/3=0.33，其中样本1和样本2只是刚刚好达到正确分类的概率值，而样本3就偏离正确分类非常远；
而数据组2的分类损失为：1/3=0.33，其中样本1和样本2相对较好的分到了正确的类别，而样本3距离正确的类别也不是相当远。
但以上两者的损失均为0.33，实际并没有体现出两者的区别，放到模型中，即是体现不出训练的效果。

Mean Squared Error

对于MSE，同样可以计算其损失：
在数据组1中，样本1的平方损失为：(0.3 - 0)^2 + (0.3 - 0)^2 + (0.4 - 1)^2 = 0.09 + 0.09 + 0.36 = 0.54
相当于数据组1的MSE损失为：(0.54 + 0.54 + 1.34) / 3 = 0.81；
同样，数据组2的MSE损失为：(0.14 + 0.14 + 0.74) / 3 = 0.34。
相比于分类损失，均方损失较好的体现了两组数据的不同。

Cross-Entropy Error

对于交叉熵，同样计算其损失，具体计算公式就不列举了，如下：
数据组1的平均交叉熵损失为：-(ln(0.4) + ln(0.4) + ln(0.1)) / 3 = 1.38；
数据组2的平均交叉熵损失为：-(ln(0.7) + ln(0.7) + ln(0.3)) / 3 = 0.64。
交叉熵损失同样能够体现出两组数据的区别。

从区分性可以得到，分类损失表现最差，均方损失与平均交叉熵损失表现较为良好。