【时间线】
词级别模型：Word2Vec 2013：自监督学习
序列级别模型：RNN 2014：监督学习
注意力机制：2015
Transformer模型：2017：容易并行处理、容易堆叠更深的网络
上下文级别模型：ELMo 2018：自监督学习
预训练语言模型：BERT等 2018：自监督学习
大语言模型：GPT等：自监督学习
【大模型惊艳之处】
2018年后预训练大语言模型的文本理解能力在一些测评上首度超越人类。
发现一个趋势：增加参数和数据是进一步提高模型性能的有效手段。
大模型掌握丰富的知识：世界知识、常识、逻辑推理
只需要少量的提示，或者不需要提示，就能激发模型完成指定的任务。
【大模型的调试机理】
预训练+微调
在预训练阶段，预训练语言模型从大规模未标注的数据中捕获了丰富的知识。
然后，我们可以使用特定任务的训练数据来微调预先训练的语言模型，以适应预先训练的知识。
以上思路是不是和迁移学习有些类似。人类可以应用以前学到的知识去高效处理新的问题，现在人们正在赋予机器类似的能力。特征表示迁移和参数迁移都被用于预训练模型的后续工作。
【什么是微调fine-tune】
普通预训练模型的特点是： 用了大型数据集做训练，已经具备了提取浅层基础特征和深层抽象特征的能力。微调的目的是为了减少从头开始消耗的计算量，减少过拟合，再在特定任务上微调，提升准确率。
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
