本文详述了如何在消费级GPU笔记本上安装和运行LLaMA模型，包括环境配置、模型下载、量化处理及运行选项。实验结果显示LLaMA在常识推理、闭卷问答等方面表现出色，与GPT-3等模型相比有优势。
1、LLaMa模型代码：
GitHub - facebookresearch/llama: Inference code for LLaMA models
不同模型对参数规模要求不同，有7B、13B、30B(33B)和65B四个数据规模。
| Model | MP |
|---|---|
| 7B | 1 |
| 13B | 2 |
| 30B（33B) | 4 |
| 65B | 8 |
2、环境检查
（1）、检查CUDA环境是否已安装（没有的话先安装CUDA）：
（2）、检查是否已安装Pytorch（没有的话先安装Pytorch）：
3、LLaMa模型下载：
（1）、7B模型：
nyanko7/LLaMA-7B at main (huggingface.co)
（2）、13B模型：
最低0.47元/天 解锁文章
5590
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
