中文医学ChatGLM指令微调安装配置全攻略

中文医学ChatGLM指令微调安装配置全攻略

Med-ChatGLM Repo for Chinese Medical ChatGLM 基于中文医学知识的ChatGLM指令微调 项目地址: https://gitcode.com/gh_mirrors/me/Med-ChatGLM

项目基础介绍

本项目【Med-ChatGLM】是由哈尔滨工业大学社会计算与信息检索研究中心健康智能组研发的，它基于ChatGLM-6B模型进行中文医学知识的指令微调。目的是提升模型在医疗领域问答的准确性和专业度。项目采用Python为主要编程语言，通过整合医学知识图谱和GPT3.5 API，创建特定的中文医学指令数据集，实现模型的精准微调。

关键技术和框架

• 模型架构：基于ChatGLM-6B，这是一个大型预训练语言模型。
• 指令微调（Instruct-tuning）：通过对模型执行特定的指令微调，使其在处理中文医学问题时更加得心应手。
• 数据集构建：结合公开及自建的中文医学知识库，如CMeKG，利用GPT3.5 API增强数据集的质量。
• 依赖管理：使用pip管理Python环境中的第三方库。

安装与配置详细步骤

环境准备

1. 确保Python环境：首先，确认你的系统已安装Python 3.9或更高版本。

   python --version
   

2. 安装必要的依赖：打开终端或命令提示符，进入项目根目录后，运行以下命令安装所有必需的Python包：

   pip install -r requirements.txt
   

获取模型与数据

1. 模型下载：由于模型体积较大，约13.4GB，你需要从项目说明中的指定链接（百度网盘或Google Drive）下载ChatGLM-6B-Med模型文件，并将其放置到项目的model目录下。

配置步骤

1. 环境变量与路径设置（如果模型不在默认位置，可能需手动设定模型路径）。

2. 数据集构建：虽然项目提供了数据集构建的概念，但具体的构建脚本或工具细节未明确提及。在实际应用前，你可能需要自己整理或利用项目推荐的方法生成类似结构的医学问答数据集。

运行交互测试

1. 启动模型服务：安装完毕并准备好模型后，运行交互测试脚本来验证模型是否正常工作：

   python infer.py
   

   这将启动一个简单的交互界面，允许用户输入问题并查看模型的响应。

注意事项

• 硬件要求：由于模型训练和推理对GPU内存有较高要求，建议至少使用32GB以上显存的显卡，如A100-SXM-80GB。
• 指令微调个性化：若需进一步微调模型以适应特定需求，参考项目内的微调脚本（如scripts/sft_medchat.sh），并根据自身数据调整超参数。

结语

至此，您已经完成了Med-ChatGLM的安装与基本配置。记住，合理利用此模型服务于医疗咨询时，务必考虑到模型输出的局限性和潜在的风险，不宜将其作为唯一决策依据。持续关注项目更新，提升模型性能与安全性，祝您在探索人工智能与医疗交叉领域中取得卓越成果！

---

请注意，实际使用过程中，具体细节（如URL、文件路径等）可能会有所变化，请以项目最新的文档为准。

Med-ChatGLM Repo for Chinese Medical ChatGLM 基于中文医学知识的ChatGLM指令微调 项目地址: https://gitcode.com/gh_mirrors/me/Med-ChatGLM