gpt3 和codex这类模型真的理解文本或者代码吗? - 知乎
(1)训练数据:从github上爬下小于1MB的python文件,去除掉那些可能是自动生成的、平均每行长度大于100的、最大行长度大于1000的、几乎不含字母数字的。经过清洗处理后,最终得到159GB的训练集。
(2)预训练:将清洗过后的数据集送入GPT3架构的模型中,重新训练一个模型。注意这里不再是基于GPT3做微调,也不再使用GPT3训好的权重。而是整个重新训练。最终得到一个12B参数量的模型Codex。
(3)有监督微调
gpt3 和codex这类模型真的理解文本或者代码吗? - 知乎
(1)训练数据:从github上爬下小于1MB的python文件,去除掉那些可能是自动生成的、平均每行长度大于100的、最大行长度大于1000的、几乎不含字母数字的。经过清洗处理后,最终得到159GB的训练集。
(2)预训练:将清洗过后的数据集送入GPT3架构的模型中,重新训练一个模型。注意这里不再是基于GPT3做微调,也不再使用GPT3训好的权重。而是整个重新训练。最终得到一个12B参数量的模型Codex。
(3)有监督微调