qq_37852074的博客

原创 大语言模型学习--P1

调整原LM数据集：加入API调用，执行API，形成类似<API> Question?→ Result</API>的文本加入原数据集，过滤------->最终数据集，finetune。主打轻量化，Alpaca 7B 模型在 Self-Instruct 指令评估上的表现类似于 text-davinci-003（GPT-3.5）模型。2019年 GPT2 para:1542M Data:40G。2020年 GPT3 para:175B Data:570G。2018年 GPT para:117M Data:1G。