focalloss是如何优化的

loss的优化原理

我们都知道反向传播是计算梯度调整权重参数，使得loss不断变小的一个过程
梯度的计算是通过loss计算得来。

一个batch里的样本，计算每个样本的梯度求和平均，作为最后模型的调整梯度。问题就在这里，平均，那就是把每个样本需要的梯度直接取均值，如果样本中某个分类的样本点很多，那么模型的调整方向将大幅度靠近更易区分这类样本的模型优化方向。穷的更穷，富得更富，几个batch下来，好分类的基本没问题了，难分类的也就更难区分了。

所以，loss优化根本目的就是要改变模型的优化方向，不能一直向易分类的方向走，要向难分类需要的优化方向靠近一点。那这怎么办呢？权重！
求模型优化梯度本身就是各个样本梯度求均值，我们将难分类样本的梯度权重加大，易分类样本的权重降低，最终计算所得的梯度自然而然就靠近难分类样本了。
那么权重该如何设置呢？（权重的添加基于交叉熵损失函数）

focalloss

focalloss的主要工作就是利用α和γ两个静态和动态的调整了难分类样本的权重。
静态就是alpha直接与原loss相乘，这个值是个固定值。
动态就是，根据模型的训练结果，增大模型预测错误的样本loss权重，降低模型预测正确的样本loss权重，动态调整每次的梯度计算，以达到优化效果。
下面就是focalloss 的函数：