机器学习笔记：label smoothing

• 在传统的分类任务中，我们通常使用硬标签（hard labels）
  • 即如果一个样本属于某个类别，其对应的标签就是一个全0的向量，除了表示这个类别的位置为1。
  • 例如，在一个3类分类任务中，某个样本的标签可能是 [0,1,0]
• Label Smoothing 的思想是将这些硬标签替换为软标签（soft labels）。
  • 例如，对于上述的三类问题，我们可以将标签 [0,1,0]转换为 [0.1,0.8,0.1]
  • 这样做的效果是降低模型对于标签的绝对信任度，鼓励模型学习到更加平滑的概率分布
  • ——>通过鼓励模型学习更加不确定的预测，Label Smoothing 可以帮助模型在未见数据上表现得更好