label smoothing

label smoothing

背景:当我们将交叉熵损失函数用于分类任务的时候,我们期望真实的标签为1,而其他虚假的标签为0。换句话来说,我们认为原始数据的标注是准确无误的。但是，真实情况并不是这样，在某些领域，或者使用一些数据增强的方法时,都会存在着一些标注错误的问题出现。

因此,label smoothing的方法可以降低我们对于标签的信心，比如我们将损失目标的值从1降低到0.9，当然与此同时我们需要稍微增加一下其他label(label==0)的目标值。这种方法被称为标签平滑。

操作方式:

import tensorflow as tf

tf.keras.losses.binary_crossentropy(y_true,y_pred,from_logits = False, label_smoothing=0)

"""
当label_smoothing 参数非0时, 指数平滑为 1/num_classes

new_onehot_labels = onehot_labels * (1-label_smoothing) + label_smoothing / num_classes

比如而分类任务中,label_smoothing = 0.2时

new_labels = [0 1] * (1-0.2) + 0.2/2 = [0 1] * (0.8) + 0.1
new_labels = [0.1, 0.9]
"""

# 或者可以直接设置即可
train[np.where(y==0)] = 0.1
train[np.where(y==1)] = 0.9

一般来说，我们将0，1看作true or false。 而设置为0.1和0.9则可以看作,此情况存在可能性很低，此情况存在情况很大。但是使用这样的标签，在训练的过程中，同时导致了更小的梯度，因此我并不确定这个方法是否在程序中会起到作用。

通过实验对比可以看出，在有错误标签存在的情况下，确实是可以拥有更好的结果当然，这个平滑指数α需要去搜索才能得到最佳值，默认值0.1在大多数情况下效果很好。

Reference

1.https://arxiv.org/pdf/1906.02629.pdf

2.https://www.flixstock.com/label-smoothing-an-ingredient-of-higher-model-accuracy/

3.https://medium.com/@nainaakash012/when-does-label-smoothing-help-89654ec75326

4.https://www.kaggle.com/shahules/tackle-with-label-smoothing-proved