【LLM】医疗大语言模型：CareGPT

最新推荐文章于 2024-09-15 15:29:29 发布
最新推荐文章于 2024-09-15 15:29:29 发布
阅读量951 收藏 14
点赞数 25
文章标签： 人工智能 chatgpt embedding langchain RAG ai大模型 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_82469710/article/details/141173559
版权

向AI转型的程序员都关注公众号 机器学习AI算法工程

CareGPT (关怀GPT)是一个医疗大语言模型，同时它集合了数十个公开可用的医疗微调数据集和开放可用的医疗大语言模型，包含LLM的训练、测评、部署等以促进医疗LLM快速发展。

在这里插入图片描述

特性：

  1. 添加ChatGPT fine-tuning实现，推荐有额度的朋友在ChatGPT上进行微调实验；
  2. 支持ChatGPT-Next-Web部署微调的模型；
  3. 支持Gradio部署微调的模型；
  4. 支持LLaMA、LLaMA-2全系列模型训练；
  5. 支持LoRA、QLoRA，包括后续PPO、DPO强化学习训练；
  6. 支持模型与知识库结合问答；
  7. 开源了超过60个医院科室的导诊材料信息；
  8. 开发了支持GPT-4/ChatGPT模型蒸馏医学数据的工具，能够批量生成各种用于构建知识库和微调的数据；
  9. 聚合了丰富的开源医学LLM、LLM训练的医学数据、LLM部署资料、LLM测评以及相关LLM的资源整理；
  10. 我们参与了医学LLM的CMB榜单评测-IvyGPT，在测试中，我们领先ChatGPT及一众开源医学LLM

数据集

预训练数据
  • LLM-Pretrain-FineTune/data_pretrain
  • MedicalGPT/pretrain
  • zysj
  • TCM-Ancient-Books (近700项中医药古籍文本)
  • epfl-llm/guidelines
监督训练数据
  • icliniq-10k(en)
  • HealthCareMagic-100k(en)
  • ShenNong_TCM_Dataset
  • ✅ChatMed_Consult_Dataset
  • Chinese-medical-dialogue-data
  • cMedQA2
  • ✅Huatuo-26M
  • cMedQA2
  • webMedQA
  • PubMedQA
  • CMCQA
  • ✅QiZhenGPT
  • ✅LLM-Pretrain-FineTune/data_sft
  • Medical-Dialogue-System
  • IMCS-V2
  • CHIP-MDCFNPC
  • MedDG
  • ✅HuatuoGPT-sft-data-v1
  • MedicalGPT/finetune
  • ✅shibing624/medical
  • medAlpaca/data
  • ✅Zhongjing/sft
  • medical_dialog
  • huatuo_encyclopedia_qa
  • Med-ChatGLM/data
  • CMB
  • GenMedGPT-5k(en)
  • Alpaca-CoT(general)
  • ✅DISC-Med-SFT
  • ✅HuatuoGPT2_sft_instruct
  • FreedomIntelligence/Medbase_data
  • openmedlab/Awesome-Medical-Dataset
奖励训练数据
  • MedicalGPT/reward
  • Zhongjing/rw
  • comparison_gpt4_data
  • HH-RLHF
  • UltraFeedback

全流程训练

1.安装依赖

代码语言：javascript

conda create -n llm python=3.11
conda activate llm
python -m pip install -r requirements.txt

LLaMA模型下载：https://blog.csdn.net/u014297502/article/details/129829677# 转为HF格式
python -m transformers.models.llama.convert_llama_weights_to_hf \
--input_dir path_to_llama_weights--model_size 7B --output_dir path_to_llama_model
  • LLaMA-2模型下载：https://huggingface.co/meta-llama

2.数据配置

数据集配置、PT、SFT、RW数据格式

dataset_info

如果您使用自定义数据集，请务必在 dataset_info.json 文件中以如下格式提供您的数据集定义。

在这里插入图片描述

其中 prompt 和 response 列应当是非空的字符串。query 列的内容将会和 prompt 列拼接作为模型输入。history 列应当是一个列表，其中每个元素是一个字符串二元组，分别代表用户请求和模型答复。

PT example data

.txt格式，一行一个无监督数据。

Machine learning (ML) is a field devoted to understanding and building methods that let machines “learn” – that is, methods that leverage data to improve computer performance on some set of tasks.

Machine learning algorithms build a model based on sample data, known as training data, in order to make predictions or decisions without being explicitly programmed to do so. Machine learning algorithms are used in a wide variety of applications, such as in medicine, email filtering, speech recognition, agriculture, and computer vision, where it is difficult or unfeasible to develop conventional algorithms to perform the needed tasks.

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

AI-智能
关注
大规模语言模型：从理论到实践
09-11
大模型呈现爆发式的增长，特别是 2022 年 11 月 ChatGPT（Chat Generative Pre-trained Transformer） 发布后，更是引起了全世界的广泛关注。用户可以使用自然语言与系统交互，从而实现包括问答、 分类、摘要、翻译...
LLM | 面向对话式医疗健康场景的医疗大模型
python12222_的博客
08-21 1494
近日，复旦大学数据智能与社会计算实验室 (Fudan-DISC) 开发并开源了一个专门针对医疗健康对话式场景而设计的医疗领域大模型：DISC-MedLLM。
大模型搞医疗现状：AI诊疗更准确！
python1234567_的博客
06-20 489
大模型踏入医疗行业与人类医生一较高下时，它能达到什么水平？从研究结果上来看，大语言模型（LLM）在轻度和重度抑郁症治疗方面，已经达到了公认的治疗标准。不仅如此，它们还不会被患者的外在因素所影响（包括性别、社会阶层等等），这就比人类初级医生还要强上一点了。这是否就意味着类LLM选手们现在可以“持证上岗”了呢？非也，非也。考虑到抑郁症治疗的持续性和患者病情的多样性，这项研究认为，真正的治疗过程还是需要人类医生来进行。
开源医疗大模型排行榜: 健康领域大模型基准测试
AI + 工程
04-30 1278
开源医疗大模型排行榜: 健康领域大模型基准测试 一、引言 二、数据集、任务和评估设置 1、MedQA 2、MedMCQA 3、PubMedQA 4、MMLU 子集 (医学和生物学) 三、洞察与分析 四、提交你的模型以供评估 五、下一步是什么？扩展开源医疗大模型排行榜 六、致谢 七、关于开放生命科学 AI 八、引用
LLama3最新医疗大模型安装与应用指南
2301_76161259的博客
05-17 1694
医疗领域的开源 LLM：OpenBioLLM-Llama3，在生物医学领域优于GPT-4、Gemini、Meditron-70B、Med-PaLM-1、Med-PaLM-2OpenBioLLM-Llama3有两个版本，分别是70B 和 8BOpenBioLLM-70B提供了SOTA性能，为同等规模模型设立了新的最先进水平OpenBioLLM-8B模型甚至超越了GPT-3.5、Gemini和Meditron-70B。
最全的开源 LLM （大语言模型）整理.zip
09-04
本资源包“最全的开源 LLM （大语言模型）整理.zip”是关于开源大语言模型的一个综合集合，涵盖了多个知名的项目，帮助开发者和研究人员更好地了解和利用这些先进的技术。 【描述】: 这个压缩包包含了一个名为...
《CareGPT (关怀GPT)医疗大语言模型》
08-08
CareGPT (关怀GPT)是一个医疗大语言模型，同时它集合了数十个公开可用的医疗微调数据集和开放可用的医疗大语言模型，包含LLM的训练、测评、部署等以促进医疗LLM快速发展。Medical LLM, Open Source Driven for a ...
大型语言模型：语言理解和生成
08-27
实操大型语言模型
一个基于 Java 的 LLM（大语言模型）应用开发框架
06-29
这个框架的出现，使得开发者能够利用Java这一广泛使用的编程语言，更高效地构建和部署LLM（大语言模型）相关的应用程序。 LLM，全称为Large Language Model，是一种经过大规模数据训练的语言模型，它可以理解和生成...
【AI大模型】Kimi API大模型接口实现
最新发布
qq_25888559的博客
09-15 682
Kimi智能助手在效率（免费榜）排名从2024年1月14日的第436名提升至3月19日的第11名。而尚未上线的GPT-4.5 Turbo上下文窗口指定为25.6万个token，能同时处理约20万个单词，Kimi升级后，长文本能力为其10倍。在2023年10月初次亮相时，该模型的处理能力还仅有约20万汉字。2024年3月18日，月之暗面宣布Kimi智能助手启动200万字无损上下文内测。
生成式人工智能在新加坡的发展现状和地位
wukangjupingbb的博客
09-11 1070
依据国际隐私专业人员协会(IAPP)的相关报告，2020年，上述两机构更新了该模型框架，发布了第二版，并推出了《组织实施和自我评估指南》，帮助组织评估其人工智能治理实践与型框架的匹配程度，还发布了《案例汇编》，展示了组织如何实施负责任的人工智能治理实践。2019年，金融管理局宣布与金融行业合作创建Veritas框架，为金融机构提供可验证的方法，将FEAT原则纳入其人工智能和数据分析驱动的解决方案中。新加坡在人工智能治理方面采取了部门性的方法，即通过各个行业的监管机构来管理人工智能的使用。
从AI到大数据，数字技术服务平台全栈赋能企业升级
smjt2024的博客
09-11 626
海量的数据中蕴含着丰富的信息和价值，数字技术服务平台能够收集、整理和分析这些数据，为企业提供精准的市场洞察和决策支持。企业可以通过参加树莓集团举办的培训课程和研讨会，了解最新的数字技术趋势和应用案例，提升自身的数字技术水平。从技术咨询、解决方案设计到系统实施和运维，数字技术服务平台为企业提供一站式的服务，让企业无需担心技术难题，专注于自身的核心业务。树莓集团的数字技术服务平台，以其先进的技术、专业的服务和丰富的经验，为企业提供了全栈赋能。在数字时代，让我们共同利用数字技术服务平台，开启企业升级的新篇章。
Djourney新手入门基础，AI摄影+AI设计+AI绘画-AIGC作图
DAMOXINGHAITAI的博客
09-14 877
（全套教程文末领取哈）从大模型系统设计入手，讲解大模型的主要方法；在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；以SD多模态大模型为主，搭建了文生图小程序案例；以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
常见本地大模型个人知识库工具部署、微调及对比选型
09-14 829
由于作者的眼界、精力和能力也有限，并且确实也不是专业的AI研究员，仅仅是一位兴趣使然的爱好者，这里列出的几款也单纯只是作者平常关注到的，所以可能也不全，请各位见谅！文章从起笔写到这里已经过了三天了，这三天也基本把上文提到的大模型侧工具全部体验了一遍，下面说一下主要结论吧。从功能丰富度和性能优化的角度综合评估，LM Studio明显更胜一筹。从工具本身使用及模型部署效率来看，Ollama的上手速度会更快，使用会更便捷，效率也会更高。从企业级稳定性和高可用。
中伟视界：皮带跑偏检测算法及其实现模型和判断方法
yinweicai的专栏
09-13 1539
皮带输送机的跑偏检测技术，包括图像处理算法、机器学习模型和物联网技术的应用，详细阐述了各类判断方法及实际案例，强调实时监测和高精度检测的优势，提高了生产效率和安全管理水平。
解锁企业潜能，Vatee万腾平台引领智能新纪元
mingxiaoge的博客
09-13 300
同时，通过数据分析，平台还能为企业提供精准的生产计划建议，帮助企业实现资源的优化配置，降低生产成本，提高市场竞争力。它提供了智能化的管理平台，帮助企业实现数据的集中管理和分析。同时，平台还能根据企业的实际情况，提供定制化的管理方案，助力企业实现精细化管理，提升整体运营效率。通过与行业内的合作伙伴和科研机构建立紧密的合作关系，平台能够为企业提供最新的技术动态和市场趋势分析，助力企业把握先机，赢得未来。它不仅仅是一个技术工具，更是企业转型升级的加速器，能够深入企业运营的每一个角落，挖掘并释放企业潜藏的价值。
如果我有一套外呼系统如何实现功能？
yoloGina的博客
09-14 335
这通常涉及到声学模型和语言模型的结合。- **文本输入/输出**：支持用户通过触摸屏或远程设备（如手机、电脑）输入文本，并显示机器人的文本回复。3. **知识库与规则库**：为机器人构建丰富的知识库和规则库，以便在处理用户请求时能够提供准确、有用的信息。1. **数据分析**：收集并分析用户与机器人的交互数据，了解用户需求，优化机器人的性能。- **语音输出**：利用TTS技术将机器人的回复转化为语音输出，通过扬声器播放。- **外观与声音**：根据用户需求，定制机器人的外观、声音等特性。
LLM 进展和前进道路
09-12 224
近年来，语言模型取得了重大进展。这一进步是对数十亿个参数进行广泛训练和调整的结果，也是商业用途基准测试的结果。这项工作的起源可以追溯到 1950 年代，当时自然语言理解和处理的研究开始了。本文旨在概述过去 70 年语言模型的历史和演变。它还将检查当前可用的大型语言模型 （），包括其架构、调优参数、企业就绪情况、系统配置等，以深入了解其训练和推理过程。这种探索将使我们能够了解该领域的进展，并评估可用于商业用途的选择。
大语言模型LLM：理解、发展与应用
大语言模型（Large Language Model，LLM）是现代人工智能领域的重要组成部分，它的出现极大地推动了自然语言处理（NLP）的进步。这些模型通过深度学习技术，尤其是神经网络架构，如循环神经网络（RNN）、长短时记忆...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值