论文地址
摘要
本文重点分析和改进了VIT
自关注层的dropout技术,这一技术很重要,但却被以往的研究所忽视。我们特别针对三个核心问题进行了研究:第一,在自我关注层中应该减少什么?与以往文献中放弃注意权值不同,本文提出将放弃操作提前到注意力矩阵计算之前,并将Key设置为放弃单元,从而提出了一种新颖的dropout-before-softmax方案。从理论上验证了该方案既保留了注意权值的正则性特征,又保留了注意权值的概率特征,减轻了对特定模式的过拟合问题,增强了模型全局捕获重要信息的能力;第二,如何安排连续层的落差比?与利用所有层的恒定跌落率相反,我们提出了一个新的递减调度,它沿着自关注层的堆栈逐渐降低跌落率。实验验证了该方法可以避免低级特征的过拟合和高级语义的缺失,从而提高了模型训练的鲁棒性和稳定性;第三,是否需要像CNN那样进行结构化的dropout操作?我们尝试了基于补丁的块版本的dropout操作,发现这个对CNN有用的技巧对于ViT来说并不必要。在对上述三个问题进行探索的基础上,我们提出了一种新的DropKey方法,该方法以Key为掉落单位,利用递减调度来降低掉落率,从总体上提高了vit。综合实验证明了DropKey在各种ViT架构下的有效性。
这篇文章主要解决了VIT的过拟合问题,提出了一种DropKey而不是传统的Drop。
个人觉得可以用在Vit方面或者基于Vit的一些工作上试一试。