李宏毅课程-人类语言处理-BERT和它的家族-介绍和微调（下）

读长句子，以及减少平方复杂度

如何微调

输入两类，输出四类，一共八类

输入是多个句子

输出是一个类别，预训练的时候就定义第一个字符

没个字符做个分类

问答系统

定义一个向量做点乘去softmax

结束符号

生成模型，解码没有预训练

预训练生成模型

两种训练方式，一致固定预训练，一种整体微调

每个任务都存储一个大模型，比较复杂，可以只调adapt部分


adapt举例说明

效果比对

每层可以抽取不同的特征，做相应的融合，融合参数也是可以学习出来的

大模型，效果越来越好

训练截断，已经预训练过的模型，很容易就能收敛

峡谷，泛华能力不强，盆地泛华能力强