1. 问题叙述
心血来潮写点最近做的成果,主要分成两个博客来进行阐述。研究生上了一年半看了不少关于剪枝神经网络方面的文章,但是有很少的文章能让人感觉到耳目一新,打通了任督二脉的感觉。前段时间看到了一个剪枝算法就有这种感觉。和大家分享下。
全连接神经网络在很多方面都用的很多,这我就不赘述了,全连接有很强的逼近能力但是很容易导致过拟合。所以 机器学习与模式识别最核心的问题就是减小系统的复杂度(description -length【1】,VC-dimensions【2】),在神经网络中,这样的核心问题就变成了减少连接权值的数量。
减小模型复杂度方面,很常见的方法是在损失函数后面加上惩罚项
一文看懂神经网络剪枝算法
最新推荐文章于 2024-08-05 11:15:19 发布
这篇博客探讨了神经网络剪枝算法的重要性,旨在减少全连接神经网络的复杂度和过拟合问题。通过引入损失函数的惩罚项来简化模型,文章详细阐述了这一过程,并配以多幅图表辅助理解。
摘要由CSDN通过智能技术生成