正则化是防止深度学习模型过拟合的关键，传统方法通过惩罚项降低模型复杂度。文章提出一种新的隐式正则化方法，通过调整真集标签置信度和增加信息熵惩罚，使模型更加注重类别间的相关性，增强泛化能力。特征缩水(Feature contraction)和-confidence penalty也被讨论，作为有效的正则化策略。
正则化是深度神经网络中必不可少的一环，传统的正则化是在损失函数中加上一项与标签本身无关的惩罚项，去阻止模型变得过于复杂。在这周的Science Robitics上，刊登了一篇只有俩页的小文，概述了一种全新的正则化方式，并指出其俩者具体的实现方式。好文章不必长篇大论，说清楚突破点，指出进一步阅读的方向即可。
正则化的目地是为了提升网络的泛化能力，而过拟合的源泉来自模型对已有数据的死记硬背。而在现实生活中，你给一个幼儿园的小孩子一堆动物的照片，然后给Ta一张豹子的照片，让其从中选择十张和豹子最类似的照片，一个孩子拿来了九张豹子的，还有一个大黄狗的照片，另一个孩子拿来了8张豹子的和一张狮子以及一张老虎的照片。你觉得这俩个孩子哪一个更聪明，对豹子的概念理解更深入。如果单看选对的数目，那第一孩子获胜，但是由于第二个孩子选的的都是猫科动物，因此可以说第二个孩子对豹子的本质有更深刻的掌握，Ta不是在死记硬背，下次遇到白色的雪豹，第二个孩子也更有可能将其归为豹子的一种。
将这个例子用到有监督学习的语境下，就得到了下图：
最低0.47元/天 解锁文章
扫一扫
639
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
