windows 下跑起大模型（llama）操作笔记

原贴地址：https://testerhome.com/topics/39091

前言

国内访问 chatgpt 太麻烦了，还是本地自己搭一个比较快，也方便后续修改微调啥的。

之前 llama 刚出来的时候在 mac 上试了下，也在 windows 上用 conda 折腾过，环境配置步骤太多，都没跑起来。最近网上看到有预编译的，对环境要求降低了非常多，所以早上试了下，终于跑起来了。

使用平台

系统：windows 10

硬件：i5 12400F + 32GB 内存 + RTX 3090 显卡

具体步骤

主要参考 llama.cpp教程：Windows系统上无需编译，直接运行一个自己的LLaMA 2 - 怕刺 。基本上使用的都是已经预编译好的软件，不用特别折腾环境配置。

因为用了 nvidia 的显卡，而且 cpu 本身也不强，所以主要配置为 gpu 加速为主

下载 cuda

直接到