0基础复现自己的gpt之github localGPT复现教程

本教程为复现github 上项目 localGPT，为作者自己踩坑的过程记录，复现过程中有问题的可以给作者留言，或者直接去github原项目这里问项目作者。

本教程为知乎与csdn同时两端发布，为一个作者....

本过程为从零开始配环境，假设你电脑上什么也没有，且基本上不会编程。

需要windows10或11的系统，无gpu也可以跑，只是比较慢，项目加上环境整个大约占十几个G快二十个G左右。

首先，是项目地址：

https://github.com/PromtEngineer/localGPT​github.com/PromtEngineer/localGPT

如果说认同这个项目的话，大家可以为此项目加一颗星。

---

第一步，下载anaconda...

下载anaconda的教程网上已经很多了，大家搜一下即可，这里知乎的安装教程，如下：

Anaconda详细安装及使用教程（带图文） - 知乎 (zhihu.com)

大家也可以上CSDN等平台搜索安装教程。

安装后，一定要记住自己的安装位置，切记切记，后面有大用。我的地址是 C:\ProgramData\anaconda3 大家只需要记好自己的地址就可以了。

---

第二步，安装cuda与pytorch..

首先，在系统的搜索栏中，输入 cmd 打开命令提示符黑框框，在里面输入命令

nvidia-smi

可出现如图的黑框框，左上角框框内为显卡支持的cuda最高版本.

​

接下来，根据最高版本，安装小于等于此版本的cudatoolkit, 注意注意，尽量不要安装太高的版本，安装11.8以下的即可，现在太高版本的没有pytorch对应的版本支持，这里推荐安装11.6及以下（装的版本高了也没事，可以自行修改版本）...

同样，安装cuda与对应torch的教程网上也有，这里仅附上一个：

CUDA安装及环境配置--最新详细版_cuda环境配置_abbrave的博客-CSDN博客​blog.csdn.net/chen565884393/article/details/127905428

安装好cuda以后，可以在cmd命令行中使用

nvcc -V

查看cuda版本。

接下来，进入pytorch官网，下载pytorch,下载的网址为：PyTorch

会出现如图的界面，这里以11.8版本为例，选择如图，并复制下面框框中的语句：

​

接下来，在系统搜索栏中，搜索 Anaconda Powershell Prompt ，并点击进入，会自动进入anaconda的基础环境中。注意，需要下载好anaconda才有这个东西。

注意注意，torch版本一定要与cuda版本一一对应，比如cuda为11.8，torch就要为2.0.1，任何版本不对称的行为都会造成torch无法使用，具体版本对照问题可以自行上网查看。

在这个命令行中，输入刚刚在torch这里复制好的语句，进行安装即可。

测试torch与cuda是否安装成功的语句如下：

在打开的Anaconda Powershell Prompt 黑框中输入

python
import torch
torch.cuda.is_available()

如果返回为True，则为可用，如果为False，则可能为版本不对应问题，需要重装torch或者切换cuda版本...

安装成功后，进入第三步。

---

第三步，项目复制与安装。

首先打开 Anaconda Powershell Prompt 黑框，输入指令

conda create -n localGPT

来创建一个新的环境，此环境的文件储存于你之前下好的anaconda文件下的envs的localGPT文件夹下。记好这个地址，然后在黑框中继续输入：

conda activate localGPT

表示启动localGPT虚拟环境，接下来，要用到我们刚刚记住的这个地址，本人的地址为C:\ProgramData\anaconda3\envs\localGPT

每一个人都可能不一样，所以需要找到自己的地址.

然后在黑框中输入：

cd C:\ProgramData\anaconda3\envs\localGPT

表示打开这个文件夹，当然，由于地址不同，cd后面的地址填你自己电脑上的地址就行了

打开文件夹后，输入如下指令，拷贝项目

git clone https://github.com/PromtEngineer/localGPT.git

如果说没有git指令，可以先输入

conda install git

之后，再输入 git clone https://github.com/PromtEngineer/localGPT.git 即可

这时，项目会被下载到localGPT文件夹下，但是下载的项目整个还在一个同名的localGPT文件夹下，我们要把下载好的内容全部复制粘贴到第一个localGPT文件夹下，接下来，在黑框中输入：

pip install -r requirements.txt

等待安装所需的库，等待一段时间，如果没有问题的话，环境就基本配置成功了。

---

第四步，启动与模型下载。

在刚刚已经打开的黑框中，运行如下语句：

python ingest.py

等待一段时间，这时会进行已经训练好的模型的下载，模型下载位置在c盘用户的.cache\huggingface\hub文件夹下方。

如果说电脑没有gpu的话，采用如下指令加载：

python ingest.py --device_type cpu

等一段时间加载完成后，就可以使用模型了。

在刚刚的黑框中输入：

python run_localGPT.py

如果出现下面的图片样式，就代表可以正常进行对话了。

​

如果说使用的cpu，则启动指令为：

python run_localGPT.py --device_type cpu

接下来可以输入中文或英文，进行对话。（中文此模型也可以识别，只是回答的没有英文快和准确，推荐问问题时先使用翻译转化为英文再问）

如果要退出询问，则先按 ctrl ，再按 Z 键即可。

至此，模型基本环境与配置均完毕。

以后再次打开，需要的操作如下：

---

黑框启动：

激活环境 conda activate localGPT

进入文件夹 cd C:\ProgramData\anaconda3\envs\localGPT

运行 python run_localGPT.py

离开 ctrl + Z

---

注意，此模型还可以进行用浏览器打开的UI操作，但是由于项目作者在UI.py设置的模型与上文使用的模型不一样，需要重新下载一个新的模型，具体可以看作者的介绍。此外由于UI使用的显存较大，本人的3050Ti在运行时也出现了爆显存的情况，不过可以通过添加一些代码实现采用上文的模型来运行UI,具体操作可以再问我，会抽空解答。

这个项目支持替换预训练好的模型与输入自己的文本，让模型对文本进行分析，具体操作可以见项目里作者的介绍。

本文只是记录本人复现的过程，如果有不合理的地方请指出。本人只是初学AI的学生，如果有操作不当的地方请大家批评指正。最后如果觉得这个项目优秀的话，别忘了在GitHub上给作者加一颗星...