【时间线】
词级别模型:Word2Vec 2013:自监督学习
序列级别模型:RNN 2014:监督学习
注意力机制:2015
Transformer模型:2017:容易并行处理、容易堆叠更深的网络
上下文级别模型:ELMo 2018:自监督学习
预训练语言模型:BERT等 2018:自监督学习
大语言模型:GPT等:自监督学习
【大模型惊艳之处】
2018年后预训练大语言模型的文本理解能力在一些测评上首度超越人类。
发现一个趋势:增加参数和数据是进一步提高模型性能的有效手段。
大模型掌握丰富的知识:世界知识、常识、逻辑推理
只需要少量的提示,或者不需要提示,就能激发模型完成指定的任务。
【大模型的调试机理】
预训练+微调
在预训练阶段,预训练语言模型从大规模未标注的数据中捕获了丰富的知识。
然后,我们可以使用特定任务的训练数据来微调预先训练的语言模型,以适应预先训练的知识。
以上思路是不是和迁移学习有些类似。人类可以应用以前学到的知识去高效处理新的问题,现在人们正在赋予机器类似的能力。特征表示迁移和参数迁移都被用于预训练模型的后续工作。
【什么是微调fine-tune】