Label smooth

0.总结

• LawsonAbs的认知与思考，不一定对，还请各位读者怀批判思维阅读。

---

1.过拟合是什么意思？

拟合的过于逼真

2.为什么样本标签是错误的，会导致更严重的过拟合现象？

因为训练过程会导致将错误的东西牢牢记住，这种错误情况下的过拟合比正确情况下的过拟合更为可怕。

3.解决方法

• 什么是硬目标？
  纯 one-hot向量

• 在输出标签中添加噪声来避免模型过拟合
  由“给样本的特征加入随机噪声”这一方法我们引出 给样本的标签引入一定的噪声 这个解决方案。

• 怎么引入噪声？
  引入噪声其实就是对标签的one-hot向量进行修改，最终得到一个软目标。

4.优点

避免模型的输出过拟合到硬目标上，并且通常不会损害其分类能力。