2018年 GPT para:117M Data:1G
2019年 GPT2 para:1542M Data:40G
2020年 GPT3 para:175B Data:570G
2023年
Stanford Alpaca 羊驼模型 para:7B
主打轻量化,Alpaca 7B 模型在 Self-Instruct 指令评估上的表现类似于 text-davinci-003(GPT-3.5)模型
toolformer
调整原LM数据集:加入API调用,执行API,形成类似<API> Question? → Result</API>的文本加入原数据集,过滤------->最终数据集,finetune。