本文介绍了九款开源大语言模型，如Meta的LLaMA、斯坦福大学的Alpaca、Databricks的Dolly2.0等，它们在性能上能媲美GPT3，同时在训练成本和资源需求上有所降低。这些模型的开源为研究和商业应用提供了更多可能性。
模型开源不止开源代码，主要是指开源参数
chatgpt参数信息
- GPT: 117M
- GPT-2: 1.5B
- GPT-3: 175B
以下模型信息来源于大模型刮起开源风！九款GPT4平替已开源！-51CTO.COM
LLaMA（Meta）
MetaAI推出了大语言模型LLaMA，其不同版本包括70亿、130亿、330亿和650亿的参数，虽然比GPT3还小，但LLaMA在许多任务上的性能都能够追平甚至超越GPT3。
更值得注意的是，作为体量更小的模型，LLaMA不需要太多资源就能流畅运行，且LLaMA的训练成本及训练速度都要优于GPT3.5。
项目地址：github.com/facebookresearch/llama
Alpaca（斯坦福大学）
通过Meta的LLaMA 70亿微调而成的全新模型，仅使用了52k数据，但其性能却基本达到了GPT3.5的水平。而Alpaca的关键优势则在于低到出奇的训练成本——仅需不到600美元。
斯坦福大学的研究人员表示，Alpaca表现出了许多类似于OpenAI的GPT3模型的行为，但相比于GPT3，Alpaca的体积更小且各项能力更易于重现。
开源了微调用到的数据集和代码，数据集包含了5.2万个由OpenAI API生成并人工筛选过后的问题-答案对
项目地址：https://githu
最低0.47元/天 解锁文章
扫一扫
4928
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
