DropKey for Vision Transformer【浅读 / 即插即用】

论文地址

摘要

本文重点分析和改进了VIT自关注层的dropout技术，这一技术很重要，但却被以往的研究所忽视。我们特别针对三个核心问题进行了研究:第一，在自我关注层中应该减少什么?与以往文献中放弃注意权值不同，本文提出将放弃操作提前到注意力矩阵计算之前，并将Key设置为放弃单元，从而提出了一种新颖的dropout-before-softmax方案。从理论上验证了该方案既保留了注意权值的正则性特征，又保留了注意权值的概率特征，减轻了对特定模式的过拟合问题，增强了模型全局捕获重要信息的能力;第二，如何安排连续层的落差比?与利用所有层的恒定跌落率相反，我们提出了一个新的递减调度，它沿着自关注层的堆栈逐渐降低跌落率。实验验证了该方法可以避免低级特征的过拟合和高级语义的缺失，从而提高了模型训练的鲁棒性和稳定性;第三，是否需要像CNN那样进行结构化的dropout操作?我们尝试了基于补丁的块版本的dropout操作，发现这个对CNN有用的技巧对于ViT来说并不必要。在对上述三个问题进行探索的基础上，我们提出了一种新的DropKey方法，该方法以Key为掉落单位，利用递减调度来降低掉落率，从总体上提高了vit。综合实验证明了DropKey在各种ViT架构下的有效性。

这篇文章主要解决了VIT的过拟合问题，提出了一种DropKey而不是传统的Drop。

个人觉得可以用在Vit方面或者基于Vit的一些工作上试一试。