qq_37907454的博客

对于预训练模型，最核心的要素是从无标注的数据中去学习，通过自监督的一些任务去做预训练，得到丰富的知识。在具体的应用中，会引入一些任务相关的数据，去调整模型；相当于在这个已经预训练训练好的模型上（获得通用知识），引入任务相关数据，对具体的任务去进行一些适配，最终得到一个解决具体任务额模型。最早追溯到transfer learning 迁移学习，某种程度上，预训练模型就是在做一个transfer learning。为什么采用上面“预训练+微调”的范式？

把自然语言中最基本的语言单元——词转换为机器能够理解的词表示能完成以下两个能力词相似度计算词与词之间语义的关系。

自然语言处理是人工智能能够通过图灵测试的重要工具。