qq_41635502的博客

原创 Deberta:解耦+增强掩码的bert

该模型是正则化的，因此当给定特定任务的示例时，该模型产生的输出分布与该示例的对抗性扰动产生的输出分布相同。DeBERTa和BERT一样使用MLM进行预训练，使用掩码token周围的单词来预测掩码词，解耦注意机制已经考虑了语境词的内容和相对位置，但没有考虑这些词的绝对位置，绝对位置在很多情况下对预测至关重要。在论文中，DeBERTa在多个NLP基准测试中取得了优异的成绩，包括在SuperGLUE基准测试中首次超越人类表现，这表明DeBERTa在多项语言理解任务上具有强大的性能。