标签平滑 Label smoothing / Temperature Softmax

近期在查看一些训练技巧，无意中发现了标签平滑 Label smoothing，非常简单却有效的一个技巧，记录一下。

逻辑

思路很简单，如名，使标签更平滑。

假设三分类标签 [1, 0, 0]
从正确类的1中拿出一点点分给其他类，比如拿出0.1平分。变成 [0.933, 0.033, 0.033]
代码如下：

def label_smoothing(inputs, epsilon=0.1):
	K = inputs.get_shape().as_list()[-1]    # 获取类别数量
	return ((1 - epsilon)) * inputs) + (epsilon / K)

在tensorflow中可以很简单的应用：

loss = tf.keras.losses.CategoricalCrossentropy(label_smoothing=0.1)

我的测试经验是设置在0.1 - 0.2可以获得最好的效果，最终accuracy可以提升0.4%左右。

为什么有效

[0, 1] 的标签值会导致模型对正确的分类奖励最大，对错误的分类惩罚最大。
而实际数据中，训练数据不可能完全正确，于是就可能带来过拟合。
其实平滑后的标签值也更符合真实世界，万事万物都是服从概率分布，难有绝对的情况。

Temperature Softmax

再说到另一个很类似的技巧，是在推理时使预测概率更加平滑，在进行Beam search时可能性更多。

比如logtis为 [5.0, 1.0, -0.5]
正常softmax结果为[0.978, 0.017, 0.0039]

假设进行降温处理，设T=2，logtis除以T为[2.5, 0.5, -0.25]
softmax后结果为[0.833 , 0.112, 0.053]。
会更加平滑。