第17篇：SHARPNESS-AWARE MINIMIZATION FOR EFFICIENTLYIMPROVING GENERALIZATION（SAM）平坦最小化

第一部分:解决的问题

现代深度学习模型中的泛化问题。

当前的深度学习模型（如大型神经网络）通常具有极高的参数量，可以轻松地拟合训练数据，甚至完全记忆训练集。

尽管这些模型在训练集上表现出很低的损失值，但在未见的测试数据上可能会出现 泛化能力不足（即过拟合）的现象。

第二部分:解决问题使用到的方法

如何同时最小化训练损失值和损失地形的锐度（sharpness）？

论文提出了一种新方法（Sharpness-Aware Minimization, SAM），通过优化损失地形的平坦性（即降低锐度），来提升模型在测试集上的泛化性能。

第三部分:效果优势

论文中通过多个基准数据集（如 CIFAR-10/100、ImageNet）和模型（如 WideResNet、PyramidNet 等）验证了 SAM 的有效性：

图像分类任务（从零开始训练）：

SAM 显著提高了模型的泛化性能。例如，在 CIFAR-100 数据集上，使用 SAM 的 WideResNet 模型的错误率从 16.1% 降至 12.8%。

SAM 在多个数据增强策略下（如 Cutout、A