SDU软院创新实训（二）

二、基于chatglm-6b的预训练模型—XrayGLM的模型部署

2.1 数据集

具体的数据格式呈现如下的形式，包含x光图像，和对应的诊断报告，

（1）MIMIC-CXR是一个公开可用的胸部X光片数据集，包括377,110张图像和227,827个相关报告。

（2）OpenI是一个来自印第安纳大学医院的胸部X光片数据集，包括6,459张图像和3,955个报告。

2.2 模型推理

（1）nvidia-smi查看本机GPU显存

（2）下载代码仓库

git clone GitHub - WangRongsheng/XrayGLM: 🩺 首个会看胸部X光片的中文多模态医学大模型 | The first Chinese Medical Multimodal Model that Chest Radiographs Summarization.

（3） 安装依赖

pip install -r requirements.txt

（4） 下载模型权重

由于服务器不支持，这里手动下载权重，然后传输到服务器上

（5） 图片预测

1. 这里首先要加载模型，使用transformers来加载预训练模型。

2. 根据是否量化，能够减少模型占用的显存空间

3. 由于模型需要chatglm-6b的权重，这里在huggingface上找到对应的权重文件进行下载。

4. 完成后使用下列代码进行测试。

5. 加载图像

6. 这里使用chat进行对话

7. 使用命令行进行尝试预测

可以看到输出了预测结果。