GPT3, llama2, InternLM2技术报告对比

GPT3（September 22, 2020）是大语言应用的一个milestone级别的作品，Llama2（February 2023）则是目前开源大模型中最有影响力的作品，InternLM2（2023.09.20）则是中文比较有影响力的作品。

今天结合三篇技术汇报，尝试对比一下这三个方案的效果。

参考GPT3，关于模型（Model and Architectures）的介绍分为了几个部分，包括Training Dataset， Training Process，而InternLM2包括了Pretrain和Alignment，LLama包括预训练，微调和安全。针对这个大致的划分，我们可以对比模型的具体细节效果。

1. 预训练

2. 微调，对齐

2.  模型结构及大小

模型大小

GPT3是175B参数，此外也提供了一些小版本。模型结构与GPT2一致。是一个纯decoder的transformer架构（没有深究了）。

LLama2则是70--700B参数

InternLM2则是1.8B到20B的参数量。