损失函数

参考：
１

不同的目标函数（损失函数）各有特点。

分类问题中的目标函数（损失函数）

1. 交叉熵损失函数是最为常用的分类目标损失函数，且效果一般优于合页损失函数。
2. 大间隔损失函数和中心损失函数从增大类间距离、减小类内距离的角度不仅要求分类准确，而且还有助于特高特征的分辨能力。
3. 坡道损失函数是分类问题目标函数中的一类非凸损失函数，由于其良好的抗噪特性，推荐将其用于样本噪声或者是离群点较多的分类任务。

回归问题中的目标函数：

1. l1损失函数和l2损失函数是两个常用的回归任务损失函数
2. 实际使用中l2损失函数性能略微优于l1损失函数
3. Tukey’s biweight损失函数为回归问题中的一类非凸损失函数，也具有很好的抗噪能力。
4. 在一些如人脸年龄估计、头部角度识别等样本标记具有不确定性的特殊应用场景下，基于标记分类的损失函数也是一种较好的目标函数选择。

focal loss

1. focal loss就是一个解决分类问题中类别不平衡、分类难度差异的一个loss。
2. 在NLP中也存在大量类别不平衡的任务：序列标注任务中类别是严重不平衡的。在命名实体识别中，一句话里实体是比非实体要少得多，这就是类别严重不平衡的情况。
3. 二分类问题的标准loss是交叉熵
   
4. y∈{0,1} 是真实标签，ŷ 是预测值。
5. 二分类几乎都用sigmoid激活函数 ŷ =σ(x)，且有有 1−σ(x)=σ(−x)，代入得到
   
6. 集中精力关注难分类样本
7. “硬截断”的loss，形式为：
   
   其中：

8. 上面的式子体现的是：对于正样本的预测