7月Langchain-Chatchat 0.3.1最新 win系统-安装教程，踩坑2小时，5分钟拿去！

Win11安装 langchain-chatchat 0.3.1最新版

1. 虚拟环境安装和python包安装

conda  create -n chat310 python=3.10

#这里很重要 需要先安装cuda版本的torch 
pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu121

pip install "xinference[all]"

pip install "langchain-chatchat[xinference]" -U

可能遇到的问题

1. No module named ‘Cython’

conda install -c conda-forge pynini=2.1.5

2. 启动xinference

新建一个终端

输入以下命令：

# win11改用用127.0.0.1，官方推荐是0.0.0.0(适合linux)
xinference-local --host 127.0.0.1 --port 9997
# 

可能遇到的问题

出现：RuntimeError: Cluster is not available after multiple attempts 这个报错

3.再新建一个终端，进行chatchat的一系列初始化：

可以看出默认配置是glm4-chat和bge-m3，这在linux系统是可行的，
但是在windows会出现报错，原因是不支持，所以要修改成下面的，下面也是官方推荐的：

修改 model_settings.yaml

# 默认选用的 LLM 名称 我这里选择了 qwen2-instruct
DEFAULT_LLM_MODEL: qwen1.5-chat

# 默认选用的 Embedding 名称
DEFAULT_EMBEDDING_MODEL: bge-large-zh-v1.5

4. xinference启动模型

如果前面安装了cuda版本的torch，下面N-GPU那里记得选 GPU

• xinference启动qwen-instruct
  
  启动后会显示：
  

• xinference启动bge-base-zh-v1.5
  
  同理显示：
  
  终端显示：
  

5.初始化数据库

新建一个终端，依次执行下面的命令。环境还是原来的

#初始化数据库，确保xinference已经启动对应的llm和embedding模型 这里如果前面环境没有安装好，初始化会比较慢
chatchat kb -r

# 启动项目 
chatchat start -a
# 上面命令执行，浏览器会自动打开 http://127.0.0.1:8501/