本文探讨了深度学习模型的泛化能力问题，提出了Sparse SAM（SSAM）算法，作为Sharpness-Aware Minimization（SAM）的改进版。SSAM通过稀疏掩码确定需要扰动的参数，减少了计算复杂度。实验表明，SSAM在多个数据集和模型上表现出优于SAM的性能和效率。
©PaperWeekly 原创 · 作者 | GlobalTrack
深度学习模型经常遇到较弱的泛化能力等问题。由于损失函数景观（loss landscape）一般是复杂的且非凸，该特性使模型常常收敛到尖锐最小点（Sharp Minima）。一般认为最小值点附近越平滑，模型泛化能力越强。
Sharpness-Aware Minimization（SAM）方法是一种可以提升模型泛化能力的算法，可以同时最小化损失函数和损失函数尖锐值。SAM 需要两次优化，第一次用于最大化尖锐值，即当在权重添加扰动后最大化损失差异。当模型到达尖锐区域时，权重扰动后对应的梯度能帮助模型跳出尖锐最小点。两次优化简单描述为：第一次获得权重扰动值，第二次更新模型权重。
本文关注的问题是是否需要所有参数的扰动？关注到在大部分的深度学习模型中，只有 5% 的参数是尖锐的且优化过程中剧烈提升。
本文提出一种基于稀疏扰动的 SAM 改进算法，Sparse SAM（SSAM）。本文方法需要获得一个二值化掩码决定哪一个参数需要扰动。本文提出两种获取二值化掩码的算法，即基于费雪信息（Fisher Information）的方法（SSAM-F）和基于动态稀疏训练的方法（SSAM-D）。
论文标题：
Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation Approach
论文链接：
https://openreview.net/pdf?id=88_wNI6ZBDZ
代码链接：
https://github.com/Mi-Peng/Sparse-Sharpness-Aware-Minimization
最低0.47元/天 解锁文章
扫一扫
8851
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
