【图像分类损失】PolyLoss：一个优于 Cross-entropy loss和Focal loss的分类损失

论文题目：《PolyLoss: A Polynomial Expansion Perspective of Classification Loss Functions》
论文地址：https://arxiv.org/pdf/2204.12511.pdf

1.简介

       Cross-entropy loss和Focal loss是损失函数最常见的选择。然而，一个良好的损失函数可以采用更灵活的形式，并且针对不同的任务和数据集应该进行定制。受如何逼近函数的启发，通过泰勒展开，我们提出了一个名为PolyLoss的简单算法来将损失函数设计为多项式函数的线性组合。PolyLoss可以让Polynomial bases（多项式基）的重要性很容易地根据目标任务和数据集进行调整，同时也可以将Cross-entropy loss和Focal loss作为PolyLoss的特殊情况。实验结果表明，PolyLoss 中的最优选择确实是取决于任务和数据集。只需引入一个额外的超参数并添加一行代码，PolyLoss在二维图像分类、实例分割、目标检测和三维目标检测任务上都明显优于Cross-entropy loss和Focal loss。

2.PolyLoss

3.探索分配多项式系数的三种不同策略

1. 删除高阶项
2. 调整多个靠前前多项式系数
3. 仅调整第一个多项式系数
   

       实验证明：调整第一个多项式系数（Poly-1 公式）有最大增益，同时也只需要最少的代码变动和超参数调整。（下面只介绍效果最好的Poly-1）

LPOLY-1 : SIMPLE AND EFFECTIVE

伪代码