BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
论文地址:BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
将预训练语言模型应用于下游任务的两种方法
feature-based:ELMo——将预训练得到的表征作为feature
fine-tuning:OpenAI GPT——通过微调所有的预训练的参数
它们相同点在于都使用了单向的...
原创
2020-04-13 13:27:40 ·
349 阅读 ·
0 评论