如何微调医疗大模型llm：llama2学习笔记

已于 2023-08-01 11:34:44 修改
阅读量1.3k 收藏 2
点赞数
文章标签： 大模型 医疗
于 2023-08-01 10:17:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stay_foolish12/article/details/132036087
版权

三个微调方向：简单医疗问答 临床问答 影像学
一般流程： 1 数据集准备 2 模型基座选择 3 微调 4 案例拆解

1 数据集准备：两种类型，一种文本一种影像

扩展，多模态

2 模型基座选择

在这里插入图片描述

多模态处理所有视频，文本，数字人将会受到威胁，数字人赛道
多模态处理将会对医疗领域有很大的促进
多模态的架构
在这里插入图片描述
整个影像大模型现阶段不太成熟，医疗领域的方案，各个医生的方案没有标准的方案，没有办法通用，不会被通用的大模型被替代掉。诊断虽然可能一样，但是治疗方案不太一样，只能将诊疗的阶段给呈现出来。增加知识库做一些知识对齐。

3 微调

在这里插入图片描述

stay_foolish12
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Med-Flamingo 通过LLAMA 2进行多模式少样本学习的医疗聊天机器人
iCloudEnd的博客
08-06 306
医学中多模式学习的需求背景：解释医疗数据的复杂性和多模式学习的需求。医学领域本质上是复杂的，需要处理多种数据类型，包括图像、文本和数值。这些数据来自各种来源，例如医疗记录、实验室结果、放射图像等。整合和综合这些信息对于准确诊断、治疗计划和患者护理至关重要。多模式学习旨在结合这些不同类型的数据，以更全面地了解患者的健康状况。通过利用各种数据模式的优势，多模式学习可以提供更丰富的见解和更细致的解释。什么是 Med-Flamingo？：定义和主要目标。
保姆级零基础微调大模型（LLaMa-Factory，多卡版）
K_Kelly_的博客
05-08 4027
看到网上的教程很多都是教如何用webui来微调的，这里出一期命令行多卡微调教程~
自己动手，打造绝佳的本地大模型平台
m0_59164304的博客
05-28 794
与其使用其他在线平台聊天查询，不如动手打造一个适应自己的本地大模型，不光可以保护自己的数据隐私，也可以借此对大模型底层和更深入的探索了解，提高自己的AI功力。
基于医疗领域数据微调LLaMA——ChatDoctor模型
dzysunshine的博客
08-18 2138
ChatDoctor是一款使用LLaMA模型并结合医学知识进行训练的医疗助手，研究人员先收集了50多万条真实医患对话，然后使用这些数据对LLaMA模型进行微调。ChatDoctor不仅具备流畅的对话能力,在医疗领域的理解和诊断也达到了很高的水平。用户只需描述症状，ChatDoctor就会像真人医生一样询问其他症状与体征，然后给出初步诊断和治疗建议，而且完全开源免费！当然，ChatDoctor只是一个AI助手，不能完全替代人医生，但在常见病症诊断方面，它已经表现已经非常不错了。
2023年开源中文医疗大模型概览
cloudflash的博客
08-30 1万+
本文根据现有近20个中文医疗领域开源大模型网络众神们的总结分析，结合作者探索行业发展浅见，编制形成本文，意图对发展中的中文医疗大模型提供多方面概览，呈现采撷各自精彩与独特之处，共同推进中文医疗LLM应用等垂直行业大模型的探索与实践。
[玩转AIGC]LLaMA2之如何微调模型
六五酥的博客
12-28 5700
下面的your token就是要填从你自己的HuggingFace复制下来的token，根据上面的步骤走过来，你已经申请过权限了，所以token可用。有了权限就可以从HuggingFace上下载模型：https://huggingface.co/meta-llama。没有的话就自己创建一个token，也就是点击new token，再把创建的token复制下来。然后再去HuggingFace上submit权限申请，连接在下面。提交后还要等待仓库作者的确认，请求将在 1-2 天内得到处理。
LlaMA2微调实战
大漠帝国的博客
07-28 1212
LLaMA2-SFT, Llama-2-7B微调(transformers)/LORA(peft)/推理。
大语言模型LLM：微调、量化、推理.zip
最新发布
07-25
大语言模型LLM：微调、量化、推理.zip
大模型学习资料：LLM大语言模型的学习路径和各种最佳实践
12-19
大模型学习资料：大语言模型的学习路径和各种最佳实践，包含大模型推荐、大语言模型原理解读、没有训练大模型的条件应该如何训练、大模型相关的论文列表、大模型相关的论文解读，非常全的资料和学习路线，目前大模型...
大型语言模型 LLM：2023 年完整指南.pdf
04-12
预训练后，模型可以通过微调、上下文学习或者零/一/少样本学习等方式，进一步适应具体的下游任务。 #### 三、大型语言模型技术原理 ##### 1. 微调(Fine-tuning) 微调是指将预训练好的模型进一步训练以适应特定...
算法部署-使用TensorRT-LLM部署llama大模型-毕业设计-附详细性能优化+分析+实现流程教程-优质大模型部署项目实战
03-06
算法部署_使用TensorRT-LLM部署llama大模型_毕业设计_附详细性能优化+分析+实现流程教程_优质大模型部署项目实战
适用于LLM应用的数据框架:llama-index
03-02
项目标签：[大规模语言模型] [LLM] [机器学习] 推荐理由：一个适用于LLM（大型语言模型）应用的数据框架。它为LLM应用提供了数据存储和管理的解决方案，帮助用户更高效地构建和管理LLM应用程序。
Llama2 LLM 的力量分析：健康与医学领域的优点、缺点和最佳实践
iCloudEnd的博客
08-29 292
注意：我希望您今天学到了一些关于 LLM 及其对医疗保健和医学的影响的新知识，如果您发现有任何知识，请分享，以便它可以继续扩展到更多人。医学文本分析的精确性：Llama2 LLM 对医学术语的深刻理解能够对复杂的医学文本进行精确分析，有助于诊断、研究和患者护理。增强的临床决策支持：它理解上下文丰富信息的能力可以通过提供来自大量医学文献的相关见解来帮助临床医生做出明智的决策。数据隐私：利用 Llama2 LLM 处理敏感的患者数据需要严格的隐私协议，以防止泄露和未经授权的访问。
本地训练中文LLaMA模型实战教程，民间羊驼模型，24G显存盘它！
artistkeepmonkey的博客
05-19 4370
在学习完上篇【1本地部署中文LLaMA模型实战教程，民间羊驼模型】后，我们已经学会了下载模型，本地部署模型，部署为网页应用如果我们对于模型在某些方面的能力不够满意，想要赋予模型一些特殊的能力，那么我们可以选择领域内特殊的数据集，然后在基础模型上继续训练，从而得到一个新的模型例如我们可以把医学知识用于训练模型，得到一个医生chatGPT;把佛学资料用于训练模型，得到一个佛祖chatGPT;人类的已有知识是海量的，智慧是无穷的，我相信大家一定有更好的想法！1训练数据准备，纯文本txt数据。
【大模型微调实战】使用Peft技术与自己的数据集微调大模型
aqwca的博客
11-01 5319
LLM是大型语言模型的缩写，是人工智能和机器学习领域的最新创新。2022年12月，随着ChatGPT的发布，这种强大的新型人工智能在网上疯传。对于那些足够开明的人来说，生活在人工智能的嗡嗡声和科技新闻周期之外，ChatGPT是一个在名为GPT-3的LLM上运行的聊天界面。最近的大模型就是Meta的llama2当然还有openai的GPT4,google的PaLM2.国内有清华的ChatGLM等等.
【人工智能】谷歌、DeepMind联合提出Med-PaLM 2，MedQA数据集上的得分高达86.5%
热门推荐
禅与计算机程序设计艺术
05-29 1万+
在我们之前的Med-PaLM工作中，我们展示了医学问题回答的全面基准测试、模型答案的人类评估以及医学领域的对齐策略的重要性。虽然这些基准测试是衡量LLMs中所编码的知识的有用指标，但它们并不能捕捉模型生成事实性、安全的回答以回答需要微妙答案的问题的能力，这在真实世界的医学问题回答中很常见。• 长形式回答消费者医疗问题的人类评估表明，Med-PaLM 2的答案在与临床效用相关的九个方面中，如事实性、医学推理能力和低伤害可能性等，优于医生和Med-PaLM的答案。Med-PaLM 2的集成细化（ER）示意图。
LLaMA, ChatGLM, BLOOM的参数高效微调实践
丨汀、的博客
06-12 3919
大语言模型的训练分为两个阶段：（1）在海量文本语料上的无监督预训练，学习通用的语义表示和世界知识。（2）在小规模数据上，进行指令微调和基于人类反馈的强化学习，更好地对齐最终任务和人类偏好。LIMA[1] 证明了，只需要有限的指令微调数据就可以生成高质量的回复。因此，基座模型的性能是至关重要的，如果基座模型的性能不够好，指令微调和强化学习也难以取得很好的效果。目前，主流的开源大语言模型主要有三个：LLaMA、ChatGLM 和 BLOOM。
快速玩转 Llama2！阿里云机器学习 PAI 推出最佳实践
阿里云云栖号
07-26 985
近期，Meta 宣布大语言模型 Llama2 开源，阿里云机器学习平台PAI针对 Llama2 系列模型进行适配，推出全量微调、Lora微调、分布式训练、推理服务等场景最佳实践，助力AI开发者快速开箱。
Llama2本地运行的3种方法
新缸中之脑
07-31 1841
我们已经讨论了很多关于如何在 Replicate 上运行和微调 Llama 2。但你也可以在 M1/M2 Mac、Windows、Linux 甚至手机上本地运行 Llama。在本地运行 Llama 2 的一个很酷的事情是，甚至不需要互联网连接。推荐：用快速搭建可编程3D场景。Llama 2 发布才几天，但已经有一些在本地运行它的技术。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值