秋招面经|loss小结

最新推荐文章于 2024-04-03 08:49:53 发布

肉丝京酱~

最新推荐文章于 2024-04-03 08:49:53 发布

阅读量208

点赞数

文章标签： python 深度学习开发语言

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/niubiglas/article/details/126619819

版权

1、L1 loss

L = |x - y|

2、L2 loss

$L = (x - y)^{2}$

3、MSE loss

$L = \sqrt{(x-y)^{^{2}}}$

4、CE loss(交叉熵损失）

连续： $\int y_{i} lnP_{_i}$

离散： $\sum y_{i} lnP_{_i}$

其中，y 是标签（二分类中，y = 0 or 1) P 是scores(概率，是激活函数的结果)

一般CE loss+softmax

有 $-log(softmax(z+))=)-log\frac{exp(Z^{+})}{\sum exp(Z^{i})}$

在有监督的情况下 group truth是一个one-hot向量，对softmax结果取-log，再与group truth相乘，可以得到上面这个式子

在对比学习中，i是负样本的个数，而softmax运算量很大，所以ce不可用

5、info NCE loss（对比学习损失-来自moco）

$-log\frac{exp(qk^{+}/\tau )}{\sum exp(qk^{i}/\tau )}$

在对比学习中，除本身图片做的数据增强得到的图片以外，其他都是负样本

6、BCE loss（二分类交叉熵损失）

$L =\sum y_{i}logP_{i} + (1-y_{i})log(1-P_{i})$

和ce loss对比，在计算出样本为负样本的时候，也算出了loss，进行梯度回传

一般情况用sigmoid+ BCE loss（类间不互斥）

7、balence loss（平衡损失）

用来解决样本不均衡的情况

$L =\sum \alpha y_{i}logP_{i} + (1-\alpha )(1-y_{i})log(1-P_{i})$

其中 $\alpha$ 为负样本和总样本数的比值

8、focal loss（三种不同的写法）

$L =\sum(1-P_{i})^{\gamma } y_{i}logP_{i} + (P^{i})^{\gamma }(1-y_{i})log(1-P_{i})$

$L =\sum (1-P^{i})^{\gamma }y_{i}logP_{i}$

其中：

if $y_{i} =1$ $P_{i} = P_{i}$

if $y_{i} =0$ $P_{i} = 1- P_{i}$

$L =\sum (1-P^{i})^{\gamma }L_{CE}$

其中 Lce为BCE loss

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
秋招面经|loss小结

秋招面经|loss小结
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。