聊聊心理医疗领域大模型的落地思考

最新推荐文章于 2024-09-09 22:19:37 发布

人工智能小豪

最新推荐文章于 2024-09-09 22:19:37 发布

阅读量1.2k

点赞数 52

文章标签： langchain ai大模型人工智能 LLM 大模型医疗大模型大模型微调

本文链接：https://blog.csdn.net/2301_81888214/article/details/140270468

版权

近来，工作偏向于心理医疗领域方面的大模型，仅从领域大模型的落地，聊聊个人的一些思考。

硬件

准备好花钱买GPU。

领域大模型

业务场景的思考

首先需要审视斟酌业务领域的特殊性与可行性，我们要做的是心理领域，而心理领域倾向于医患对话，即询问链的场景；不仅仅是一问一回答的角度，而作为智能体(AI模型/医生)还需要对患者的回答进行引导/打分，且作为问询对话场景，对话上下文的长度必然不会少，这也是需要考虑的问题。其次，治疗时的患者，会处于不同的治疗阶段，就需要做不同的治疗，治疗的侧重点就会不一样。
总之，在实际开展的前期，对业务领域的场景与方向需要与产品不断的打磨研究，分析出产品的方向场景及特殊性。

开源模型

摸着石头过河——目前医疗、金融等领域已经有很多的开源模型，作为技术储备与预研，极其需要对已有的开源模型做一些调研。如下是我个人觉得不错且对于我们的场景可以借鉴的医疗模型：

对于开源模型的研究，不仅仅是跑demo，没有什么用处，毕竟又不能直接拿过来落地——现在很多的模型都只是丢个训练完的模型文件上来，最关键的训练数据、业务流程、训练流程、调试代码并没有放上来；这类开源库参考意义不大。
如下几点是我比较看重的：

训练数据及格式
微调框架（官方、开源）
业务流程
训练流程及代码
训练方式
是否支持微调

业务流程

对比上述的模型，灵心模型的场景及应用和我们的业务极度贴近，但官方只是给了模型文件部署，并没有提供相关的训练数据也不支持微调。所幸，其业务流程还是很详细，给我们的业务落地也提供了参考。

训练流程及代码

而CareGPT与MedicalGPT两个模型给我提供了详细的训练流程参考：

第一阶段：PT(Continue PreTraining)增量预训练，在海量领域文档数据上二次预训练AI模型，以适应领域数据分布。
第二阶段：SFT(Supervised Fine-tuning)有监督微调，构造指令微调数据集，在预训练模型基础上做指令精调，以对齐指令意图，并注入领域知识。
第三阶段
- RLHF(Reinforcement Learning from Human Feedback)基于人类反馈对语言模型进行强化学习，分为两步：
  - RM(Reward Model)奖励模型建模，构造人类偏好排序数据集，训练奖励模型，用来建模人类偏好，主要是"HHH"原则，具体是"helpful, honest, harmless"。
  - RL(Reinforcement Learning)强化学习，用奖励模型来训练SFT模型，生成模型使用奖励或惩罚来更新其策略，以便生成更高质量、更符合人类偏好的文本。
- DPO(Direct Preference Optimization) 直接偏好优化方法，DPO通过直接优化语言模型来实现对其行为的精确控制，而无需使用复杂的强化学习，也可以有效学习到人类偏好，DPO相较于RLHF更容易实现且易于训练，效果更好。

针对如上阶段，开源模型有对应阶段的脚本已实现，最好是可以一键执行。

训练数据及格式

数据的质量与格式，在这些开源模型都是有的；而且对我们的业务来说，多轮对话是很常见的，因此怎么样让数据更紧凑更小，但不损坏数据质量，是我们需要审视的。
扁鹊与灵心领域模型的数据格式是我蛮满意的，而且极度满足我们的业务场景：

input: "病人：六岁宝宝拉大便都是一个礼拜或者10天才一次正常吗，要去医院检查什么项目\n医生：您好\n病人：六岁宝宝拉大便都是一个礼拜或者10天才一次正常吗，要去医院检查什么项目\n医生：宝宝之前大便什么样呢？多久一次呢\n病人：一般都是一个礼拜，最近这几个月都是10多天\n医生：大便干吗？\n病人：每次10多天拉的很多\n医生："
target: "成形还是不成形呢？孩子吃饭怎么样呢？"

同时，在不同的治疗阶段，治疗的侧重点也是不一样的，指令instruction的引导与数据的场景化显得尤为重要。

训练方式

训练方式决定着，采取怎样的训练形式——微调训练/多阶段训练。基于官方微调文档的训练还是开源微调框架的训练，都是不一样的。
目前来说，越来越多的领域模型是基于开源微调框架来做的微调训练，微调框架比如LLaMA-Factory；相比较官方文档来说，开源微调框架的流程更清晰，微调策略更多样、训练阶段更完善、且支持的数据格式也多种。

MVP

MVP是最小可行性产品英文的首字母缩写，是企业用最小的成本开发出可用且能表达出核心理念的产品版本，使其功能极简但能够帮助企业快速验证对产品的构思。
准备好AI模型与服务器后，按上述的流程实现一个MVP，以供产品人员试用、客户演示、进而实现项目最小闭环；最终就是走向产品迭代，不断演进。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍