ChatGPT中文LLM与医疗领域相结合的开源资源汇总

goomind

已于 2023-07-19 11:09:15 修改

阅读量1.6k

点赞数 3

分类专栏：大模型文章标签： chatgpt 深度学习人工智能 nlp 自然语言处理 llama

于 2023-07-19 11:03:21 首次发布

本文链接：https://blog.csdn.net/weixin_40280870/article/details/131800892

版权

大模型专栏收录该内容

3 篇文章 0 订阅

订阅专栏

文章介绍了多个基于ChatGPT和其他大语言模型在医疗领域进行微调的开源项目，如DoctorGLM、BenTsao、BianQue等，这些项目通过指令微调和数据集增强，提升了模型在医疗咨询、问答和诊断等方面的能力。

摘要由CSDN通过智能技术生成

基于开源ChatGPT大模型构建自己的知识库系统

前言

自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其卓越的人工智能（AGI）的能力，掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。本文主要介绍GPT在医疗领域的开源应用项目，供大家学习参考！

DoctorGLM

地址：https://github.com/xionghonglin/DoctorGLM
演示
简介：基于 ChatGLM-6B的中文问诊模型，通过中文医疗对话数据集进行微调，实现了包括lora、p-tuningv2等微调及部署

BenTsao

地址：https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese
演示
简介：开源了经过中文医学指令精调/指令微调(Instruct-tuning) 的LLaMA-7B模型。通过医学知识图谱和GPT3.5 API构建了中文医学指令数据集，并在此基础上对LLaMA进行了指令微调，提高了LLaMA在医疗领域的问答效果。

BianQue

地址：https://github.com/scutcyr/BianQue
演示
- 简介：一个经过指令与多轮问询对话联合微调的医疗对话大模型，基于ClueAI/ChatYuan-large-v2作为底座，使用中文医疗问答指令与多轮问询对话混合数据集进行微调。

HuatuoGPT

地址：https://github.com/FreedomIntelligence/HuatuoGPT
简介：开源了经过中文医学指令精调/指令微调(Instruct-tuning)的一个GPT-like模型

Med-ChatGLM

地址：https://github.com/SCIR-HI/Med-ChatGLM
简介：基于中文医学知识的ChatGLM模型微调，微调数据与BenTsao相同。

QiZhenGPT

地址：https://github.com/CMKRG/QiZhenGPT
演示
简介：该项目利用启真医学知识库构建的中文医学指令数据集，并基于此在LLaMA-7B模型上进行指令精调，大幅提高了模型在中文医疗场景下效果，首先针对药品知识问答发布了评测数据集，后续计划优化疾病、手术、检验等方面的问答效果，并针对医患问答、病历自动生成等应用展开拓展。

ChatMed

地址：https://github.com/michael-wzhu/ChatMed

问诊问题	中文LlaMA-7b	ChatMed-Consult
天气温度越来越高，对于有宝宝的家庭来说，室内空调开到几度合适，以前我都是开二十七，那医生说开错了。	“A. 二十七摄氏度；B. 三十二八摄氏度；C.三十六二十四摄氏度；D.四十一九摄氏度；E. 四十一九摄氏度。”	“在夏天的时候，为了保持良好的健康和舒适的环境，建议您将房间内的空气调节器调至26-28摄氏度左右即可。如果您想让婴儿更加舒服地睡觉，可以把室温降低1-2个台阶（比如从27升至22），这样可以让孩子更容易入睡并提高睡眠质量。同时，也要注意定期清洁空调过滤网以及避免过度使用空调等措施以保证室内通风良好、干燥清新。”

简介：该项目推出ChatMed系列中文医疗大规模语言模型，模型主干为LlaMA-7b并采用LoRA微调，具体包括ChatMed-Consult : 基于中文医疗在线问诊数据集ChatMed_Consult_Dataset的50w+在线问诊+ChatGPT回复作为训练集；ChatMed-TCM : 基于中医药指令数据集ChatMed_TCM_Dataset，以开源的中医药知识图谱为基础，采用以实体为中心的自指令方法(entity-centric self-instruct)，调用ChatGPT得到2.6w+的围绕中医药的指令数据训练得到。

XrayGLM

地址：https://github.com/WangRongsheng/XrayGLM
演示
简介：该项目为促进中文领域医学多模态大模型的研究发展，发布了XrayGLM数据集及模型，其在医学影像诊断和多轮交互对话上显示出了非凡的潜力。

MeChat

地址：https://github.com/qiuhuachuan/smile
演示

[
  "求助者：最近总是和妈妈闹矛盾，但是又不知道该怎么办，能帮我想想办法吗？",
  "支持者：我了解你的情况，跟亲人之间经常会产生矛盾是很常见的现象。你不妨试试和妈妈沟通一下，平静地提出自己的疑惑和不满，看看能否解决矛盾。",
  "求助者：但是每次我和妈妈说话，总会起争端，她总是让我感觉她不信任我，我该怎么办呢？",
  "支持者：听起来你和妈妈之间的交流很困难，你可以试试换个方式和她沟通，比如写信或者找一个更加中立的人一起协调谈话，让大家都有更好的表达机会。",
  "求助者：我特别讨厌和她吵架，可是我有时候就是自制力不够，很难抑制自己的情绪。",
  "支持者：青春期的年轻人情绪波动很大很正常，但是你可以试试找些方法来缓解情绪，比如听听音乐、看看书等等，使自己情绪更稳定。",
  "求助者：妈妈总是很为我担心，但是我感觉她的表达方式让我很不舒服，怎么办？",
  "支持者：你可以试着跟妈妈提出你的感受，说出你觉得她的表达方式不太适合你，看看一起可以找到一个更好的沟通方式。",
  "求助者：近期我迷上了游戏，可是妈妈总是担心我的学业，会经常跟我谈中考和未来，我也很焦虑。",
  "支持者：我能理解你的压力，但是你的妈妈对你的学业担忧也是很正常的。你可以试着和妈妈沟通一下，表明自己的压力和困惑，寻求她的理解和支持。",
  "求助者：妈妈总是说我顶嘴顶的不好，可是我并没有说过什么不好的话，这些误解让我很难受。",
  "支持者：很抱歉听到这些误解带给你的困扰，你可以试着和妈妈沟通，表明你没有说过不好的话，避免误解的发生。",
  "求助者：有时候我觉得妈妈很不公平，总是让我做家务和学习，而她却不怎么做，这让我很不满意。",
  "支持者：家务和学习的确是每个人都需要承担的责任，但是你可以跟妈妈商量一下，建立更合理的分工方式，让大家的负担更加均衡。",
  "求助者：我有时候会想，如果我不在妈妈身边，她就不会那么疲惫与辛苦了，是不是我应该离开她，这样她就会开心一些。",
  "支持者：不要把这些想法一直压在心里，试着跟她好好沟通，说说你的担心和顾虑，寻求她的支持和理解。离开并不会解决问题，关心和照顾妈妈也是你的责任之一。",
  "求助者：非常感谢你的耐心倾听和建议，我会好好尝试和妈妈沟通，解决我们之间的矛盾。",
  "支持者：很高兴能帮助你，你已经迈出了寻求帮助的第一步，接下来只要继续坚持下去，相信问题一定会得到好的解决。"
]

简介：该项目开源的中文心理健康支持通用模型由 ChatGLM-6B LoRA 16-bit 指令微调得到。数据集通过调用gpt-3.5-turbo API扩展真实的心理互助 QA为多轮的心理健康支持多轮对话，提高了通用语言大模型在心理健康支持领域的表现，更加符合在长程多轮对话的应用场景。

MedicalGPT

地址：https://github.com/shibing624/MedicalGPT
简介：训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。发布中文医疗LoRA模型shibing624/ziya-llama-13b-medical-lora，基于Ziya-LLaMA-13B-v1模型，SFT微调了一版医疗模型，医疗问答效果有提升，发布微调后的LoRA权重。

Sunsimiao

地址：https://github.com/thomas-yanxin/Sunsimiao
简介：Sunsimiao是一个开源的中文医疗大模型，该模型基于baichuan-7B和ChatGLM-6B底座模型在十万级高质量的中文医疗数据中微调而得。

ShenNong-TCM-LLM

地址：https://github.com/michael-wzhu/ShenNong-TCM-LLM
简介：该项目开源了ShenNong中医药大规模语言模型，该模型以LlaMA为底座，采用LoRA (rank=16)微调得到。微调代码与ChatMed代码库相同。此外该项目还开源了中医药指令微调数据集。