如何开发一个基于通义千问-14B的对话应用

目录

一：开发流程

二：安装

---

一：开发流程

1：安装环境

需要安装python依赖环境

2：配置项目

我们利用Langchain-Chatchat和Qwen1.5-14B-Chat-GPTQ-Int4来实现一个对话项目应用

3：启动项目

二：安装

1：安装环境

初始化一个python环境：

conda create -n qwen-chat python=3.11.7 

>activate qwen-chat   

安装CUDA ：

https://developer.nvidia.com/cuda-toolkit-archive

安装模型推理引擎我们使用的基于Transformers的Qwen ，需要安装Transformers 

这里安装Qwen 1.5版本的

pip install transformers==4.37.2

安装量化库:

pip install auto-gptq==0.6.0 --extra-index-