干货！神经网络中的隐性稀疏正则效应

AITIME论道

于 2022-07-22 08:30:49 发布

阅读量635

点赞数

文章标签：算法神经网络人工智能网络大数据

本文链接：https://blog.csdn.net/AITIME_HY/article/details/125942486

版权

本文探讨了梯度下降在过度参数化神经网络中的隐性稀疏正则效应，重点关注深度对隐性正则化和早停法的影响。研究表明，更深的网络允许更大的初始化值和早停时间窗口，从而在稀疏模型中提高泛化能力。通过理论和实证分析，揭示了深度、初始化和早停法如何共同作用，促进模型的隐性稀疏性，为理解深度学习的泛化能力提供了新的视角。

摘要由CSDN通过智能技术生成

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

本文研究了梯度下降算法在过度参数化下的隐式稀疏正则效应。我们研究了一类特殊的神经网络，也就是对角线性神经网络。我们将之前在网络深度为2的理论结果拓展到了一般的深度为N的网络，并且进一步说明了深度对于隐式稀疏正则效应的影响。我们发现更大的深度，可以允许更大的初始化值和更大的早停时间窗口，在真实模型是稀疏的情况，更深的模型反而更容易找到一个可以泛化的模型。我们希望本工作可以加深对于梯度下降算法在训练深度神经网络时的隐式正则效应的理解。

首先，我们将介绍一下为何要关注这个问题。众所周知，深度神经网络在很多问题的处理上都有着优秀的表现，然而对于DNN这样模型的泛化性质却一直没有很深入的研究。难点主要集中在两个方面，一方面是模型高度相似化，复杂度很高则会导致其所代表的行数空间复杂度也会很高；另一方面，经验风险最小化的优化问题往往是一个复杂的非凸问题。所以我们得到理论上的泛化性质保证是很难的。

但是，实际中我们已经观察到了这些高度参数化的DNN模型泛化能力是非常好的，只是训练起来很麻烦。我们需要设计一个很巧妙的、且和我们任务高度契合的架构。这些训练中的小技巧也是在帮助我们从这个非凸问题的很多解之中选择泛化能力较好的那个解，也就是说模型的机构和训练方法一起提供了一个隐性正则效应。对于这种效应，也存在着许多种解读。

本期AI TIME PhD直播间，我们邀请到美国德州农工大学统计系博士生—李江元，为我们带来报告分享《神经网络中的隐性稀疏正则效应》。