Label Smoothing的个人看法

看了CVPR2019得一篇论文《Bag of Tricks for Image Classification with Convolutional Neural Networks》

里面有个Label Smoothing的概念引起了自己的注意

这个观点是Inception-v2《Rethinking the Inception Architecture for Computer Vision》提到的，用来处理过拟合。

为什么我们使用softmaxloss来学习特征回过拟合，其实我们看过手写字体识别的softmax输出就能发现，

输出是很精确的：（0，0，0，0，0.99999，0，0，0，0，0.00001），如果是输入类，则对应神经元输出直接为1。

我们可以认为这是网络识别得很到位，也可以认为网络识别的很不人性，例如：1和7，6和9，存在视觉上的相似，严格的硬要区分开，是存在过拟合的隐患。

 

为什么对这个概念感兴趣，因为前段时间看了一部电影《美丽心灵》，说纳什的，纳什是谁，博弈论里面纳什均衡的提出者。

纳什均衡说得啥：个人利益的最大化，不一定是团体利益的最大化，但个人为了最大化自己的利益，不会改变自己的决策，这就平衡了，但这种平衡并不是最好的。

 

反思手写字体识别这10个输出神经元，是不是有点这种意思。

所以Szegedy在论文中说：... Intuitively, this happens because the model becomes too confident about its predictions.

个人感觉这是监督学习中的一个弊端，因为人类给机器的信号，并不够人类自己知道的多，然后人类又不知道自己知道啥，索性让机器自己学习，便会出现过拟合的情况。