1、L1 loss
L = |x - y|
2、L2 loss
3、MSE loss
4、CE loss(交叉熵损失)
连续:
离散:
其中,y 是标签(二分类中,y = 0 or 1) P 是scores(概率,是激活函数的结果)
一般CE loss+softmax
有
在有监督的情况下 group truth是一个one-hot向量,对softmax结果取-log,再与group truth相乘,可以得到上面这个式子
在对比学习中,i是负样本的个数,而softmax运算量很大,所以ce不可用
5、info NCE loss(对比学习损失-来自moco)
在对比学习中,除本身图片做的数据增强得到的图片以外,其他都是负样本
6、BCE loss(二分类交叉熵损失)
和ce loss对比,在计算出样本为负样本的时候,也算出了loss,进行梯度回传
一般情况用sigmoid+ BCE loss(类间不互斥)
7、balence loss(平衡损失)
用来解决样本不均衡的情况
其中为负样本和总样本数的比值
8、focal loss(三种不同的写法)
其中:
if
if
其中 Lce为BCE loss