MedicalGPT-zh 中文医疗对话语言模型的部署（windows）2023年6月15日

简介

MedicalGPT-zh是一个语言聊天模型，基于chatglm-6b(清华大学)训练而成，在此模型基础上对医疗维度进行了一些微调，使用的对话数据如下：

Git地址：https://github.com/MediaBrain-SJTU/MedicalGPT-zh

数据类型	描述	数量	占比（%）
情景对话	在具体场景下的医患诊疗对话	52k	28.57
知识问答	医学知识问题的解释性回答	130k	71.43
总计	-	182k	100

一、环境部署

1. 硬件环境

win10系统

显卡RTX3060 12G（共享内存8G，合计20G）,官网要求单卡显存 >= 15G

2. 部署python环境

我用的是python虚拟环境, 安装版本是 3.9，官方对python版本未做说明.

2.1 下载Anaconda

Anaconda:Anaconda | The World’s Most Popular Data Science Platform

安装过程无特殊勾选，安装完成后到通过电脑搜索框找到 Anaconda Prompt，并以管理员身份运行。

2.2 python环境

（1）控制台输入以下命令,medicalgpt 是给这个虚拟环境起的名字

conda create -n medicalgpt python=3.9

（2）进入虚拟环境

conda activate medicalgpt

 2.3 安装PyTorch

进入官网：https://pytorch.org/

注意 要找到适合自己的CUDA版本（不了解的可百度下） 

复制上面命令到 Anaconda Prompt 执行即可

验证是否执行成功命令 

torch.cuda.is_available()

二、源码及模型下载

进入到官网git地址：MedicalGPT-zh

git下载源码: git clone git@github.com:MediaBrain-SJTU/MedicalGPT-zh.git

官网通过百度网盘下载微调后的模型：

现在完成后的样子：

三、启动

刚开的打开的 Anaconda Prompt 黑框，进入到源码位置

3.1 配置项目依赖

cd src
pip install -r requirements.txt

3.2 启动

python ./demo.py

3.3 运行示例

四、问题及解决方法

执行启动命令时先后遇到两个错误

4.1 字符错误

解决方法，把demo.py文件中，model斜杠改成windows斜杠

4.2 不信任错误

解决方法，把demo.py文件中，添加信任

友情提示

清华源   https://pypi.tuna.tsinghua.edu.cn/simple/

阿里源 https://mirrors.aliyun.com/pypi/simple