交叉熵损失、Focal loss

交叉熵就是— 标签乘以logpi求和
y就是标签0/1，当属于这一类的时候就是1。

Loss越大越容易收敛，太小不好收敛。

Focal loss作用：

解决类别不平衡问题，对困难样本的损失分配比较大的权重

负样本数量太大，占总的loss的大部分，而且多是容易分类的，因此使得模型的优化方向并不是我们所希望的那样。

首先为了控制正负样本的权重，可以在loss前加一个系数，比如

但是，这样只能控制正负样本的权重，但是不饿能控制容易分类和难分类样本的权重。困难：概率为0.6左右，虽然大于0.5，但是难分类；易分类如0.9。

:指数部分称为调制系数，目的是减少易分类样本的权重，使得模型在训练时更加专注于难分类的样本。(注意log在0-1之间是负的，越接近于0，总的loss越大。)

于是就有了Focal loss：