- 博客(1)
- 收藏
- 关注
原创 Deberta:解耦+增强掩码的bert
该模型是正则化的,因此当给定特定任务的示例时,该模型产生的输出分布与该示例的对抗性扰动产生的输出分布相同。DeBERTa和BERT一样使用MLM进行预训练,使用掩码token周围的单词来预测掩码词,解耦注意机制已经考虑了语境词的内容和相对位置,但没有考虑这些词的绝对位置,绝对位置在很多情况下对预测至关重要。在论文中,DeBERTa在多个NLP基准测试中取得了优异的成绩,包括在SuperGLUE基准测试中首次超越人类表现,这表明DeBERTa在多项语言理解任务上具有强大的性能。
2024-05-06 13:46:28
992
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人