BERT基于NSP和MLM两个任务进行预训练,如果对BERT进行改进,一个可行的方向就是增加更多的预训练任务,那么除了这两个任务之外,还可以增加哪些预训练任务呢?
可以增加的预训练任务有一个前提,就是这些任务的训练数据要能从无监督的数据中获取,这样才能获取到海量的数据,符合这一要求的任务可以进行尝试。
提供一些预训练任务的思路:
1.Capitalization Prediction Task
预测单词是否大写。与其他词语相比,大写词语通常具有特定的语义价值。
2.Token-Document Relation Prediction Task
预测一个段落中的某个token是否出现在原始文档的其他段落中。
在文档不同部分都出现的单词通常是文档中的关键词,因此这一任务可以在一定程度上使模型能够捕获文档的关键字。
3.Sentence Distance Task
学习句子间距离的任务。该任务被建模为一个3分类的问题,“0”表示两个句子在同一个文档中相邻;“1”表示两个句子在同一个文档中,但不相邻;
“2”表示两个句子来自两个不同的文档。