Langchain-Chatchat + chatglm2-6b-32k-int4 本地部署：属于自己的大模型

前言

本教程基于近50次报错，历时3天圆满部署，每一步背后都花时间上网找解决办法。

部署环境：

Anaconda 3 (Python 3.10)
Windows 10
显存为8G的英伟达4060ti显卡
安装好了Git
拥有访问Github的魔法

Git获取文件

首先，推荐你创建一个大模型专用的文件夹，然后所有命令都cd到此文件夹目录下运行。

Git下载主要文件：

git clone https://github.com/chatchat-space/Langchain-Chatchat.git

git clone https://www.modelscope.cn/ZhipuAI/chatglm2-6b-32k-int4.git

---

Git : 7890 port报错

如果你遇到了7890的port报错，请尝试这段代码，重置代理：

git config --global --unset http.proxy
git config --global --unset https.proxy

---

Git : 获取huggingface文件

需要依次运行以下命令

git lfs install
git clone https://huggingface.co/moka-ai/m3e-base

但是，你很可能弹出443报错，git不到huggingface的东西，因为它需要魔法。
以我的魔法为例，你需要开启一个基于魔法的端口，然后让cmd在此端口下运行。如图：