PFlop/s-day算力单位

预计，训练一次ChatGPT模型需要的算力约27.5PFlop/s-day。据OpenAI团队发表于2020年的论文《Language Models are Few-Shot Learners》，训练一次13亿参数的GPT-3 XL模型需要的全部算力约为27.5PFlop/s-day，训练一次1746亿参数的GPT-3模型需要的算力约为3640 PFlop/s-day。考虑到ChatGPT训练所用的模型是基于13亿参数的GPT-3.5模型微调而来，参数量与GPT-3 XL模型接近，因此我们预计训练所需算力约27.5PFlop/s-day，即以1万亿次每秒的速度进行计算，需要耗时27.5天。