【深度学习 误差计算】10分钟了解下均方差和交叉熵损失函数

常见的误差计算函数有均方差、交叉熵、KL 散度、Hinge Loss 函数等,其中均方差函数和交叉熵函数在深度学习中比较常见,均方差主要用于回归问题,交叉熵主要用于分类问题。下面我们来深刻理解下这两个概念。

1、均方差MSE。

预测值与真实值之差的平方和,再除以样本量。
均方差广泛应用在回归问题中,在分类问题中也可以应用均方差误差。

2、交叉熵

再介绍交叉熵损失函数之前,我们首先来介绍信息学中熵(Entropy)的概念。1948 年,Claude Shannon 将热力学中的熵的概念引入到信息论中,用来衡量信息的不确定度。熵在信息学科中也叫信息熵,或者香农熵。熵越大,代表不确定性越大,信息量也就越大。某个分布 (𝑖)的熵定义为

在这里插入图片描述
实际上,𝐻(p )也可以使用其他底数的log函数计算。举个例子,对于 4 分类问题,如果某个样本的真实标签是第 4 类,one-hot 编码为[0,0,0,1],即这张图片的分类是唯一确定的,它属于第 4 类的概率P (y 𝑖s 4|𝑦) = 1,不确定性为 0,它的熵可以简单的计算为
在这里插入图片描述
也就是,对于确定的分布,熵为 0,即不确定性最低。分类问题的 One-hot 编码的分布就是熵为 典型的例子。

发布了650 篇原创文章 · 获赞 779 · 访问量 184万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览