正则化的通俗解释_图像分类中的隐式标签正则化

正则化是深度神经网络中必不可少的一环，传统的正则化是在损失函数中加上一项与标签本身无关的惩罚项，去阻止模型变得过于复杂。在这周的Science Robitics上，刊登了一篇只有俩页的小文，概述了一种全新的正则化方式，并指出其俩者具体的实现方式。好文章不必长篇大论，说清楚突破点，指出进一步阅读的方向即可。

正则化的目地是为了提升网络的泛化能力，而过拟合的源泉来自模型对已有数据的死记硬背。而在现实生活中，你给一个幼儿园的小孩子一堆动物的照片，然后给Ta一张豹子的照片，让其从中选择十张和豹子最类似的照片，一个孩子拿来了九张豹子的，还有一个大黄狗的照片，另一个孩子拿来了8张豹子的和一张狮子以及一张老虎的照片。你觉得这俩个孩子哪一个更聪明，对豹子的概念理解更深入。如果单看选对的数目，那第一孩子获胜，但是由于第二个孩子选的的都是猫科动物，因此可以说第二个孩子对豹子的本质有更深刻的掌握，Ta不是在死记硬背，下次遇到白色的雪豹，第二个孩子也更有可能将其归为豹子的一种。

将这个例子用到有监督学习的语境下，就得到了下图：