从零搭建出属于自己的大模型

从零搭建出属于自己的大模型

基于本地模型搭建大模型

你好！ 这是一个从零开始搭建本地大模型的教程（从建文件夹开始，真正的从零开始），如果你也对大模型感兴趣，那就让我带领你搭建出一个属于自己的“小助理”吧！

一、下载源码和模型并存到到指定文件夹

具体步骤如下：

1. 创建文件夹存放源码和模型 ，在E盘中创建一个LLM文件夹用来存储源码和模型；
   
   

2. 下载源码和模型
   1）如果在Anaconda Powershell Prompt中下载时，可以使用下列语句
   模型下载：
   git clone https://huggingface.co/THUDM/chatglm2-6b-32k
   git clone https://huggingface.co/moka-ai/m3e-base
   源码下载：
   git clone https://github.com/chatchat-space/Langchain-Chatchat.git；
   （使用Anaconda Powershell Prompt下载时需要进入刚才创建的LLM文件夹，模型下载需要进入到LLM的models文件夹内，如下图表示）
   模型下载：
   
   
   源码下载：
   
   最后文件夹的效果：
   
   
   （注意：此处下载需要安装git，并且下载模型时需要魔法）
   2）可以直接进入网站下载
   
   
   
   3）后台有偿发送
   如果魔法无法下载，可以私信联系我，使用网盘发送，有更好效果的agentlm-13b。
   

二、搭建模型

1. 创建虚拟环境
   打开Anaconda Powershell Prompt（使用该终端需要下载anaconda）可以使用管理员模式。使用conda create -n llm-chat python=3.10语句（python高于3.8即可）
   
   

2. 激活虚拟环境并安装torch
   1）使用conda activate llm-chat激活虚拟环境
   
   2）使用pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118安装torch
   
   

3. 安装依赖
   1）使用conda install spacy安装spacy库
   
   
   2）进入Langchain-Chatchat目录下使用pip install cchardet、pip install accelerate安装cchardet、accelerate库
   
   
   3）使用pip install --upgrade pip更新pip
   
   4）并使用pip install -r requirements.txt下载源码依赖库，这个下载的包很多，需要一点时间，不要着急。
   
   

4. 修改配置文件
   走到这一步，那么恭喜你马上就要成功了！！！
   1）进入cofigs目录下，使用命令行模式修改文件
   cp .\model_config.py.example .\model_config.py
   cp .\server_config.py.example .\server_config.py
   cp .\basic_config.py.example .\basic_config.py
   cp .\kb_config.py.exmaple .\kb_config.py
   cp .\prompt_config.py.example .\prompt_config.py
   
   
   2）直接用鼠标打开文件夹，复制粘贴重命名（用“1步骤”就无需使用此步骤，跳过该步骤）。
   
   最后效果如下图：
   

5. 修改端口及路径
   1）打开model_config.py文件，m3e-base和chatglm2-6b-32k的路径修改为我们存放模型的位置，我的是E:/LLM/models/m3e-base和E:/LLM/models/chatglm2-6b-32k
   
   2）修改启动模型，还是在这个文件修改
   
   3）打开server_config,py文件修改服务地址
   

三、模型启动

1. 最后一步，模型，启动！！！
   在Langchain-Chatchat目录下使用python startup.py -a或者python startup.py --all-webui启动模型。如下图：
   
   
   
   接下来就可以玩转属于自己的大模型啦！！！

本教程只是搭建本地大模型，下一篇会基于本次的搭建，然后结合本地知识库进行部署。