交叉熵、损失函数、Focal Loss
文章平均质量分 91
℡ヾNothing-_哥
毕业即退网。
展开
-
交叉熵损失函数(信息量、信息熵、KL散度)_Focal Loss_
本文参考别人的博客所写,怕自己忘记所以写下此博客,方便以后翻阅。信息量信息奠基人香农(Shannon)认为“信息是用来消除随机不确定性的东西”,也就是说衡量信息量的大小就是看这个信息消除不确定性的程度。总结来说就是:信息量的大小与可预见的概率之间成反比。 信息量越大,可预见的概率越大;信息量越小,可预见的概率越小。设某一事件发生的概率为P(x),其信息量表示为:其中,I(X)表示信息量,这里log表示以e为底的自然对数,P表示事件发生的概率。信息熵信息熵也被称原创 2021-06-26 15:50:44 · 1159 阅读 · 0 评论 -
Focal Loss 的深刻理解__交叉熵的前世今生
一、前言在以往的目标检测任务中,一阶段的方法往往会比两阶段的检测算法精度要低,造成一阶段检测效果不佳的原因如下:1、负样本的数量过多,导致正样本的loss被覆盖,就算正样本的loss非常大也会被数量庞大的负样本中和掉,从而导致整个样本集的损失值较小,而这些正样本才是我们要检测的前景区域;2、难样本往往是前景和背景区域的过渡部分,这类样本难以被区分,所以称难样本。剩下的易样本往往较好计算,导致模型非常容易就收敛了。但是损失函数收敛了并不代表模型效果好,因为我们更需要把那些难样本训练好,这样才能增强原创 2021-06-26 22:11:21 · 951 阅读 · 0 评论