区别探索：掩码语言模型 (MLM) 和因果语言模型 (CLM)的区别

大多数现代 NLP 系统都遵循相当标准的方法来为各种用例训练新模型，即首先预训练，然后微调。这里， 预训练的目标是利用大量未标记的文本并构建语言理解的通用模型，然后针对各种特定的 NLP 任务（例如机器翻译、文本摘要等）进行微调。

在本博客中，我们将讨论两种流行的预训练方案，即掩码语言建模（MLM）和因果语言建模（CLM）。

没有时间阅读整个博客？然后观看这段 <60 秒的 短片 -