#今日论文推荐# ICML 2022 | 稀疏双下降：网络剪枝也能加剧模型过拟合？

#今日论文推荐# ICML 2022 | 稀疏双下降：网络剪枝也能加剧模型过拟合？

本文分享一下我们在网络剪枝方面的新工作「Sparse Double Descent: Where Network Pruning Aggravates Overfitting」。这篇论文主要是受模型过参数化（over-parameterization）和彩票假说（lottery tickets）两方面研究的启发，探索分析了剪枝后的稀疏神经网络的泛化性能。 
一句话结论：稀疏神经网络的泛化能力受稀疏度的影响，随着稀疏度不断增加，模型的测试准确率会先下降，后上升，最后再次下降。

根据传统机器学习的观点，模型难以同时最小化预测时的偏差与方差，因此往往需要权衡两者，才能找到最合适的模型。这便是广为流传的偏差-方差均衡（bias-variance tradeoff）曲线：随着模型容量增加，模型在训练集上的误差不断下降，然而在测试集上的误差却会先下降后上升。

论文题目：Sparse Double Descent: Where Network Pruning Aggravates Overfitting
详细解读：https://www.aminer.cn/research_report/62de155b7cb68b460ff372f0https://www.aminer.cn/research_report/62de155b7cb68b460ff372f0
AMiner链接：https://www.aminer.cn/?f=cs