损失函数
有点方
这个作者很懒,什么都没留下…
展开
-
CIoU的成长之路
原始的IOU损失函数只要IOU不相交。损失函数不变第一次升级,GIOU:不相交时,两个框的距离变化,loss不变,改进为GIoU loss.第二次升级,DIOU:完全包含时,两个框的距离变化,loss不变,改进为DIoU loss.第三次升级,CIOU:中心点重合但宽高比不同时, loss不变,改进为CIoU loss.CIoU的惩罚项是在DIoU的惩罚项基础上加了一个影响因子a,v,这个因子把预测框长宽比拟合目标框的长宽比考虑进去。其中a是用于做...原创 2020-08-05 18:22:18 · 8008 阅读 · 0 评论 -
Label Smoothing
在分类任务中,我们通常对类别标签的编码使用[0,1,2,…]这种形式。在深度学习中,通常在全连接层的最后一层,加入一个softmax来计算输入数据属于每个类别的概率,并把概率最高的作为这个类别的输入,然后使用交叉熵作为损失函数。这会导致模型对正确分类的情况奖励最大,错误分类惩罚最大。如果训练数据能覆盖所有情况,或者是完全正确,那么这种方式没有问题。但事实上,这不可能。所以这种方式可能会带来泛化能力差的问题,即过拟合。按softmax交叉熵优化时,针对这个样本而言,会让0.721越来越接近于1,因为这原创 2020-08-05 16:21:49 · 227 阅读 · 0 评论 -
交叉熵损失函数的进化路程
一.交叉熵损失函数(CrossEntropy Loss)1. 公式与性质交叉熵代价函数同样有两个性质:非负性:目标就是最小化代价函数 克服方差代价函数更新权重过慢的问题导数中没有σ′(z)这一项,权重的更新是受σ(z)−y这一项影响,即受误差的影响。所以当误差大的时候,权重更新就快,当误差小的时候,权重的更新就慢2.交叉熵代价函数是如何产生的? 以偏置b的梯度计算为例,推导出交叉熵代价函数:b的梯度公式为:为了消掉该公式中的我们...原创 2020-07-16 18:25:54 · 664 阅读 · 0 评论 -
L1 VS L2(深度学习中的L1与L2)
L1 loss L1 loss的数学公式和函数图如下所示:L1函数连续,但是在????−????(????)=0处不可导,L1 loss大部分情况下梯度都是相等的,这意味着即使对于小的损失值,其梯度也是大的,这不利于函数的收敛和模型的学习。但是,无论对于什么样的输入值,都有着稳定的梯度,不会导致梯度爆炸问题,具有较为稳健性的解。L2 loss(MSE loss)MSE曲线的特点是光滑连续、可导,便于使用梯度下降算法,是比较常用的一种损失函数。而且,MSE 随着误差的减小,梯度也在减小原创 2020-07-10 20:45:11 · 1944 阅读 · 0 评论