读长句子,以及减少平方复杂度
如何微调
输入两类,输出四类,一共八类
输入是多个句子
输出是一个类别,预训练的时候就定义第一个字符
没个字符做个分类
问答系统
定义一个向量做点乘去softmax
结束符号
生成模型,解码没有预训练
预训练生成模型
两种训练方式,一致固定预训练,一种整体微调
每个任务都存储一个大模型,比较复杂,可以只调adapt部分
adapt举例说明
效果比对
每层可以抽取不同的特征,做相应的融合,融合参数也是可以学习出来的
大模型,效果越来越好
训练截断,已经预训练过的模型,很容易就能收敛
峡谷,泛华能力不强,盆地泛华能力强