深度学习基础
文章平均质量分 75
Genpock
这个作者很懒,什么都没留下…
展开
-
平衡 L1损失(Balanced L1 Loss)
平衡上述损失的一个常用方法就是调整两个任务损失的权重,然而,回归目标是没有边界的,直接增加检测框回归损失的权重将使得模型对outliers更加敏感,这些hard samples产生过大的梯度,不利于训练。inliers相比outliers对整体的梯度贡献度较低,相比hard sample,平均每个easy sample对梯度的贡献为hard sample的30%,基于上述分析,提出了balanced L1 Loss(Lb)。α,γ从样本和任务层面控制平衡,通过调整这两个参数,从而达到更加平衡的训练。原创 2023-09-11 16:25:20 · 449 阅读 · 0 评论 -
log_softmax与softmax的区别
但是Softmax会存在上溢出和下溢出的情况,这是因为Softmax会进行指数操作,当上一层的输出,也就是Softmax的输入比较大的时候,可能会产生上溢出,超出float的能表示范围;同理,当输入为负值且绝对值比较大的时候,分子分母会极小,接近0,从而导致下溢出。Softmax是指数标准化函数,又称为归一化指数函数,将多个神经元的输出,映射到 (0,1) 范围内,并且归一化保证和为1,从而使得多分类的概率之和也刚好为1。,在加快运算速度的同时,保证数据的稳定性。原创 2023-08-24 01:09:32 · 1175 阅读 · 1 评论 -
KL散度与交叉熵
相对熵又称KL散度,如果我们对于同一个随机变量 x 有两个单独的概率分布 P(x) 和 Q(x),我们可以使用 KL 散度(Kullback-Leibler (KL) divergence)来衡量这两个分布的差异。在机器学习中,P往往用来表示样本的真实分布,Q用来表示模型所预测的分布,那么KL散度就可以计算两个分布的差异,也就是Loss损失值。从KL散度公式中可以看到Q的分布越接近P(Q分布越拟合P),那么散度值越小,即损失值越小。因为对数函数是凸函数,所以KL散度的值为非负数。KL散度不是对称的;原创 2023-08-24 01:08:03 · 102 阅读 · 1 评论