Day 14: 无需预训练或者过多的数据增强技巧，谷歌提出新方法，超越 ResNet 的表现

文章标题：When Vision Transformers Outperform ResNets without Pretraining or Strong Data Augmentations
最近其实也一直在看 paper，不过感觉都并不是特别好写，或者说目前我的主要任务还不在精读每一篇文章，因为其实如果要读透的话，还是需要一点点看代码的。
因此这一篇也是个大概性的总结吧，因为文章提到的东西虽然很可能能用，但是如果要用到自己的东西上，需要再看另外一篇 paper，因为本文是基于那一篇上面写的，干货并不太多。

文章并没有提出新的网络结构，使用的仍然是vit和MLP-mixer，只是使用了这些新的 optimizer/minimizer 而已，而且还达到了一个看起来挺不错的结果。

作者想解决的问题

• 之前的vit和MLP-mixer模型都需要大量的训练数据或者预训练。
• 可视化和海森矩阵表明有的时候模型模型收敛在了非常陡峭的局部最小点，会在训练中出现过拟合。
• 作者提出了一个sharpness aware optimizer来解决这个问题，以避免在训练过程中的过拟合。

简介部分

• Transformer 和 MLP-mixer 有时候会收敛在非常陡峭的局部最小点，而且他们的最大组取率比 ResNet 要大上几乎一个数量级。这种效应会在梯度从最后一层传向第一层的时候不断累积，因此最初的嵌入层会受对应的次对角线海森矩阵的最大特征值的不良影响。其次，这些网络都有着非常低的训练误差，但是虽然 MLP-mixer 的参数比VIP要少，但是它却更容易过拟合。最后，ViT 和 MLP-Mixer 相比于 ResNet 具有更差的“可训练性”。
• 我们推测这是由于卷积引入的平移不变性和局部信息能够帮助 ResNet 避免这些不好的局部最小点。
• 一阶优化器只会去寻找能够最小化训练误差，他们忽略了一些高阶信息，比如说和泛化相关的平整度。
• 这些研究促使我们找到一种能够意识到陡峭度的最小化器（优化器），能够明确地使损失几何图在训练过程中更平滑。
• SAM 就努力地尝试去寻找一个周围的邻居都有较低损失的解，而非只关注一个单独的点。

SAM

$$\widehat{ϵ}(w)=\underset{\Vert ϵ{\Vert }_2\le \rho }{\mathrm{argmax}}{L}_{train}(w)+{ϵ}^T{\nabla }_w{L}_{train}(w)=\rho {\nabla }_w{L}_{train}(w)/{\Vert {\nabla }_w{L}_{train}(w)\Vert }_2$$

$\rho$ 是邻居球（球形）的尺寸。$\widehat{ϵ}(w)$ 是当前权重梯度的缩放。当计算好 $\widehat{ϵ}$ 后，SAM 再根据“可感受陡峭度的梯度” ${{\nabla }_w{L}_{\mathrm{train}}(w)|}_{w+\widehat{ϵ}(w)}$ 来更新 $w$。

可以看到，如果真要用起来的话，需要看本文引用的[23]号文章，即 Sharpness-Aware Minimization for Efficiently Improving Generalization 。链接先放这了，找时间再看具体内容。