tensorflow分类的loss函数_图解Focal Loss以及Tensorflow实现（二分类、多分类）

总体上讲，Focal Loss是一个缓解分类问题中类别不平衡、难易样本不均衡的损失函数。首先看一下论文中的这张图：

解释：

横轴是ground truth类别对应的概率(经过sigmoid/softmax处理过的logits)，纵轴是对应的loss值；

蓝色的线(gamma=0)，就是原始交叉熵损失函数，可以明显看出ground truth的概率越大，loss越小，符合常识；

除了蓝色的线，其他几个都是Focal Loss的线，其实原始交叉熵损失函数是Focal Loss的特殊版本(gamma=0)

其他几个Focal Loss线都在蓝色下边，可以看出Focal Loss的作用就是【衰减】；

从图中可以看出，ground truth的概率越大(即容易分类的简单样本)，衰减越厉害，也就是大大降低了简单样本的loss；

从图中可以看出，ground truth的概率越小(即不易分类的困难样本)，也是有衰减的，但是衰减的程度比较小；

下边是我自己模拟的一组数据，一组固定的logits=[0+epsilon, 0.1, 0.2, ..., 0.9, 1.0-epsilon]，然后假设ground truth分别是0、1、2、...、9、10的时候，gamma=0、0.5、1、2、...、8、16对应的loss。

例如第3行第1列的2.75表示，ground truth是类别2，即对应的logits是0.2，gamma=0的时候，loss=2.75(gamma=0，就是原始的多分类交叉熵)。

根据上表可以得到下边的图：

从上图可以看出，随着gamma增大，整体loss都下降了，但是logits相对越高(这个例子中最大logits=1)，下降的倍数越大。从上表的最后一列也可以看出来，gamma=0和gamma=16的时候，logits=0只衰减了2倍，但是logits=1衰减了16倍