https://blog.csdn.net/weixin_37947156/article/details/99210514
https://zhuanlan.zhihu.com/p/75893972 mask 计算3.8
首先想到的做法,既然现在遮盖子词,那能不能直接遮盖整个词,比如说对于 super + man,只要遮盖就两个同时遮盖掉,这便是 Google 放出的 BERT WWM 模型所做的。
在本文中,作者提出了一个新的分词级别的预训练方法 SpanBERT ,其在现有任务中的表现优于 BERT ,并在问答、指代消解等分词选择任务中取得了较大的进展。对 BERT 模型进行了如下改进:
提出了更好的 Span Mask 方案,SpanBERT 不再对随机的单个 token 添加掩膜,而是对随机对邻接分词添加掩膜;
通过加入 Span Boundary Objective (SBO) 训练目标,通过使用分词边界的表示来预测被添加掩膜的分词的内容,不再依赖分词内单个 token 的表示,增强了 BERT 的性能,特别在一些与 Span 相关的任务,如抽取式问答;
用实验获得了和 XLNet 类似的结果,发现不加入 Next Sentence Prediction (NSP) 任务,直接用连续一长句训练效果更好。
这篇论文中提出了一种新的mask的方法,以及一个新损失函数对象。并且讨论了be