标签平滑笔记

标签平滑（Label Smoothing）是一种正则化技术，用于减少过拟合并提高分类模型的泛化能力。在标签平滑中，对于训练样本的每个正确标签，都会将其概率值调整为一个小于1的值，同时将其余错误标签的概率值均分到正确标签上。这样做可以使模型更加谨慎地对待正确标签，并减少对某个特定标签过度自信的倾向。

标签平滑的公式如下：

$$p_i = (1 - \epsilon) \times y_i + \frac{\epsilon}{k}$$

其中，$p_i$ 是模型对于第 $i$ 个标签的预测概率，$y_i$ 是该标签的真实概率（通常为 0 或 1），$\epsilon$ 是平滑参数，$k$ 是标签的总数。

使用标签平滑的步骤如下：

1. 定义平滑参数 $\epsilon$，通常取一个小于1的值，例如 0.1 或 0.01。

2. 对于每个训练样本，计算其正确标签的平滑后的概率值，并将其作为训练目标。

3. 使用平滑后的标签训练模型，通常使用交叉熵损失函数来最小化平滑后的目标。

4. 在测试阶段，不使用平滑后的标签，而是直接使用模型预测的概率值来进行分类。

需要注意的是，标签平滑可能会导致模型在某些情况下出现过度平滑的现象，从而降低模型的性能。因此，在使用标签平滑时需要根据具体情况进行调整和优化。