医疗AI新宠：OpenBioLLM基于Llama3微调的开源医疗AI大模型

最新推荐文章于 2024-07-11 03:29:05 发布
最新推荐文章于 2024-07-11 03:29:05 发布
阅读量1.1k 收藏 11
点赞数 15
文章标签： 人工智能 chatgpt 大模型 语言模型 ai openbiollm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xxue345678/article/details/139086428
版权

在这里插入图片描述

最近在帮朋友医疗器械行业的本地知识库，然后就想找个医疗领域的数据集对llama3做个简单微调，在专业性上更加符合医疗行业知识库的内容。

上了抱脸搜索相关信息，发现居然有个现成的

基于Llama 3微调的开源医疗AI大模型——OpenBioLLM-Llama3-70B和OpenBioLLM-Llama3-8B——不仅刷新了抱脸上的医疗大模型榜单，还成功占据了榜首位置。在生物医学领域的测试性能上超越了包括GPT-4、Gemini、Meditron-70B和Med-PaLM-2在内的行业巨头，成为了医疗AI领域开源大模型的后起之秀。

在这里插入图片描述

在 9 个不同的生物医学数据集上的表现，竟然超过了那些比它参数多的 GPT-4、Gemini、Meditron-70B 和 Med-PaLM-2。别看它参数少，成绩却好得让人眼前一亮，平均得分 86.06%，真是让人刮目相看！

作为医疗知识库的底座模型是非常合适的，8B的量化版本可以在基层医疗单位轻松本地部署，例如部署在社区诊所再跟社区居民健康档案的知识库一挂钩，配合数据采集设备将社区老年人在家中自行测量的心跳血压血糖等数据做自动化的数据分析，提前发现老年人健康问题，自动标注信息推送给家庭医生，真是科技改变生活

下面是准确性评测结果：

在这里插入图片描述

OpenBioLLM-70B 能快速翻阅一大堆临床记录、电子病历（EHR）和出院小结，从中找出要点，然后整理出一份简洁明了、条理清晰的摘要。

在这里插入图片描述

咨询原因：异常的超声心动图结果和随访。呼吸急促，充血性心力衰竭和瓣膜关闭不全。

现病史：患者为86岁女性，因评估腹痛和血便入院。患者有结肠炎和憩室炎，正在接受治疗。住院期间，患者诉说呼吸急促，且症状在恶化。患者接受了超声心动图检查，显示严重二尖瓣反流和大量胸腔积液。此次咨询是为了进一步评估这一情况。据患者所述，她是一位86岁的女性，活动能力有限。多年来一直有呼吸急促的症状。她还曾被告知有心脏杂音，但并未定期跟进。

冠状动脉疾病风险因素：高血压病史，无糖尿病史，非吸烟者，胆固醇状况不明，无冠状动脉疾病史，家族史无贡献。

家族史：无显著。

用药：目前服用的药物包括Lasix（利尿剂）、钾补充剂、Levaquin（抗生素）、肼苯哒嗪10毫克每日两次、抗生素治疗和甲状腺补充剂。

过敏史：安必恩（AMBIEN）、地尔硫卓（CARDIZEM）、布洛芬（IBUPROFEN）。

个人史：非吸烟者。不饮酒。无娱乐性药物使用史。

OpenBioLLM的总结如下：

主要症状：呼吸急促，随时间加重，伴有异常超声心动图结果。

相关医疗史：

  • 结肠炎和憩室炎，目前正在治疗
  • 高血压病史
  • 心脏杂音，未定期跟进
  • 长期呼吸急促

体格检查结果：未明确提及，但根据超声心动图结果暗示：

  • 严重二尖瓣反流
  • 大量胸腔积液

诊断：

  • 未明确说明，但根据超声心动图结果暗示：
  • 二尖瓣反流
  • 充血性心力衰竭（CHF）

治疗计划：

  • 目前正在使用的药物：

    • Lasix（利尿剂）
    • 钾补充剂
    • Levaquin（抗生素）
    • 肼苯哒嗪（降压药）
    • 抗生素治疗
    • 甲状腺补充剂

  • 可能需要进一步评估和管理二尖瓣反流和CHF。

OpenBioLLM-70B 可以为广泛的医学问题提供答案，可以通过从非结构化临床文本中识别和提取关键医学概念（例如疾病、症状、药物、手术和解剖结构）来执行高级临床实体识别。

通过利用对医学术语和上下文的深刻理解，这个模型能准确地对临床实体进行注释和分类，从而从电子健康记录、研究文章和其他生物医学文本源中实现更高效的信息检索、数据分析和知识发现。此功能可以支持各种下游应用，例如临床决策支持、药物警戒和医学研究。

OpenBioLLM-70B 虽然用了大量的临床数据集做训练，但是它给出的信息有时候也可能不太准确，不能代替医生的治疗方案。

​

如何学习AI大模型？

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

在这里插入图片描述

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

在这里插入图片描述

二、AI大模型视频教程

在这里插入图片描述

三、AI大模型各大学习书籍

在这里插入图片描述

四、AI大模型各大场景实战案例

在这里插入图片描述

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。

雪碧没气阿
关注
  • 15
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大模型相关介绍，包括大模型概述，llama3结构，微调策略等
06-17
大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3...
llama3-中文微调训练集，让llama3更懂中文
04-22
Llama-3是由Meta（Facebook）AI发布的最新一代大型语言模型。它具有两种参数规模：80亿（8B）和700亿（70B），并且还有一个超过4000亿参数的版本正在训练中。Llama-3在多个行业标准测试中展现了卓越的性能，特别是在...
基于Llama 3的最强开源医疗AI模型发布，刷新榜单
xx_nm98的博客
05-15 742
OpenBioLLM 可以高效地分析和总结复杂的临床记录、EHR 数据和出院摘要，提取关键信息并生成简洁、结构化的病历摘要。病例摘要**主诉：**呼吸急促，进行性加重，伴心电图异常。相关病史：结肠炎和憩室炎，目前正在接受治疗。高血压病史。心脏杂音，未定期随访。长期呼吸急促。体格检查：未明确提及，但根据心电图结果推测：二尖瓣反流严重。大量胸腔积液。诊断：未明确说明，但根据心电图结果推测：二尖瓣反流。充血性心力衰竭（CHF）。治疗方案：目前药物：速尿（利尿剂）。钾补充剂。
LLama3最新医疗大模型安装与应用指南
程序员石磊
05-01 1056
医疗领域的开源 LLM：OpenBioLLM-Llama3，在生物医学领域优于GPT-4、Gemini、Meditron-70B、Med-PaLM-1、Med-PaLM-2OpenBioLLM-Llama3有两个版本，分别是70B 和 8B —OpenBioLLM-70B提供了SOTA性能，为同等规模模型设立了新的最先进水平 —OpenBioLLM-8B模型甚至超越了GPT-3.5、Gemini和Meditron-70B。
基于Llama 3的最强开源医疗AI模型OpenBioLLM-Llama3，刷新榜单
python12222_的博客
06-07 904
OpenBioLLM-70B是一款先进的开源生物医学大型语言模型，由Saama AI实验室基于Llama 3技术精心开发并微调。此模型专为生物医学领域设计，利用尖端技术，在多种生物医学任务中实现了最先进的性能表现。
使用Ollama在本地运行AI大模型gemma
无为萌新
04-09 3344
E:\Ollama\JANAI\models\底下创建一个文件夹mine-gemma-7b（名字随便，我把models底下其他的文件夹都挪走备份了，方便管理而已）然后在底下创建个model.json文件。我这里是因为我直接把ollama给关了，所以出现了警告，不过也同样可以看到ollama客户端的版本。上述配置弄完之后重启下jan，然后再hub中就可以看到自己加的模型了，点击use即可使用。不配置也可以，不配置的话就会放到默认位置，建议还是修改下存储路径，方便后续使用。如果查询不到，重启下电脑即可。
Llama 3 微调项目实践与教程（XTuner 版）
人工智能曾小健
04-20 1052
到此为止我们就让 Llama3 具备了“他是由SmartFlowAI 打造的人工智能助手”的个人认知，本文演示平台为 InternStudio，如其他平台只需适当调整相关路径也能比较顺畅的运行起来，XTuner 玩转 Llama3 图片理解更多玩法请参考：https://github.com/SmartFlowAI/Llama3-XTuner-CN/ （欢迎 Star），同时本周天晚 8 点我们邀请了书生·浦语众多社区大佬一起来分享，欢迎预约直播一起讨论。或者软链接 InternStudio 中的模型。
【AIGC半月报】AIGC大模型启元：2024.05（下）
LeeZhao的博客
05-17 1194
AIGC大模型启元：2024.05（下）
探索开源宝藏：LLaMA 2 模型的全面优势与实践指南
2401_85760095的博客
06-22 731
LLaMA 2 以其开源的特性和强大的性能，为大型语言模型的应用提供了新的可能性。在大型语言模型（LLM）的领域中，Meta AI 开发的 LLaMA 2 以其开源的优势和强大的性能，迅速成为研究和开发社区的新宠。本文提供了 LLaMA 2 的全面介绍，从其技术优势到具体的代码实现，帮助读者深入理解并有效利用这一开源的大型语言模型。LLaMA 2 作为开源模型，不仅免费可用，还允许商业使用，这为各种规模的企业和研究团队提供了巨大的便利。LLaMA 2 的上下文长度是其显著的优势之一。
腾讯多模态大模型2024最新综述，从26个主流大模型看多模态效果提升关键方法
python12345_的博客
07-03 1489
在腾讯 2024 数字科技前沿应用趋势中，强调了“通用人工智能渐行渐近，大模型走向多模态，AI智能体（Agent）有望成为下一代平台当下多模态大模型不仅仅是学界新宠，也是未来行业发展进步的一大方向，站在这篇综述的基础之上，期待我们可以更快更好的理解未来多模态大模型的发展，赶上这波通用人工智能的新浪潮！
基于中文金融知识的LLaMA系微调模型的智能问答系统：LLaMA大模型训练微调推理等详细教学
07-06
本文将深入探讨一个特别针对中文金融领域的智能问答系统，该系统基于LLaMA系列的大规模预训练模型，并经过精细的微调以适应特定的金融知识需求。下面我们将详细介绍LLaMA模型的训练、微调以及推理过程，同时也会涉及...
Llama3模型+Windows本地运行软件（下载地址）
05-20
Meta放出Llama3模型了，也应该是这段时间里的一个科技大新闻了。 Llama一直都是开源大语言模型的领头羊驼。 而Llama3又是所有羊驼中最新的领头羊。 可以简单地来看一下官方的对比数据。 下面是Llama3和谷歌...
LLama3 中文大模型进行指令微调的中文聊天语言模型
06-06
Llama3-8B-Chinese-Chat 是一款基于 Meta-Llama-3-8B-Instruct 模型进行指令微调的中文聊天语言模型。该模型针对中文和英文用户进行了专门的优化，具有角色扮演、工具使用、数学计算等多种功能。最新的 v2.1 版本相...
YOLOv10改进 | 特殊场景检测篇 | 轻量级的低照度图像增强网络IAT改进YOLOv10暗光检测（全网独家首发）
最新发布
Snu77的博客
07-11 1万+
本文给大家带来的改进机制是轻量级的变换器模型：Illumination Adaptive Transformer (IAT)，用于图像增强和曝光校正。其基本原理是通过分解图像信号处理器（ISP）管道到局部和全局图像组件，从而恢复在低光或过/欠曝光条件下的正常光照sRGB图像。具体来说，IAT使用注意力查询来表示和调整ISP相关参数，例如颜色校正、伽马校正。模型具有约90k参数和约0.004s的处理速度，能够在低光增强和曝光校正的基准数据集上持续实现优于最新技术（State-of-The-Art, SOTA）
深度学习 - 模型的保存与部署方式汇总
weixin_47552266的博客
07-06 1400
PyTorch 的默认保存格式，灵活支持保存整个模型、模型的权重和优化器状态。
AI技术的转变：从辨别式到生成式
学IT，找陈寒
07-09 3308
李彦宏在2024世界人工智能大会上的发言，提醒我们在AI技术发展的道路上，不要盲目追求技术本身或表面的用户数据，而应更多地关注技术的实际应用和产业价值。在大模型技术与个性化应用之间找到平衡，将是未来发展的关键。作为AI从业者和技术爱好者，我们应以务实的态度，探索AI技术在各个领域的实际应用，为产业发展和社会进步贡献力量。通过李彦宏的发言，我深刻认识到AI技术发展的方向和挑战，也更加坚定了自己在这一领域继续探索和创新的信心。未来，愿我们共同努力，推动AI技术更好地服务于社会和产业，为人类创造更美好的未来。
请给出基于 huggingface 微调 LLaMa 的详细代码
05-31
好的，以下是基于 huggingface 的微调 LLaMa 的详细代码： 首先，我们需要安装 huggingface 的 transformers 和 datasets 库： ``` !pip install transformers !pip install datasets ``` 然后，我们可以下载 LLaMa 数据集并将其转换为适合模型训练的格式： ``` from datasets import load_dataset, DatasetDict # Load the LLaMa dataset llama = load_dataset("llama") # Convert the dataset to the format required by the model def format_dataset(data): return {"input_text": data["text"], "target_text": data["text"]} formatted_llama = llama.map(format_dataset) dataset_dict = DatasetDict({"train": formatted_llama["train"], "validation": formatted_llama["validation"]}) ``` 接下来，我们可以加载预训练的 GPT2 模型： ``` from transformers import AutoTokenizer, AutoModelForCausalLM, TrainingArguments, Trainer # Load the GPT2 tokenizer and model tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neo-125M") model = AutoModelForCausalLM.from_pretrained("EleutherAI/gpt-neo-125M") ``` 然后，我们可以设置训练参数并使用 Trainer 类进行微调： ``` # Set the training arguments training_args = TrainingArguments( output_dir="./results", evaluation_strategy="steps", eval_steps=500, save_steps=1000, num_train_epochs=3, learning_rate=2e-5, per_device_train_batch_size=16, per_device_eval_batch_size=16, warmup_steps=500, weight_decay=0.01, logging_dir="./logs", logging_steps=500, load_best_model_at_end=True, metric_for_best_model="eval_loss", ) # Create the Trainer instance and train the model trainer = Trainer( model=model, tokenizer=tokenizer, args=training_args, train_dataset=dataset_dict["train"], eval_dataset=dataset_dict["validation"], ) trainer.train() ``` 微调完成后，我们可以保存模型并使用它来生成文本： ``` # Save the trained model trainer.save_model("./gpt-neo-125M-llama") # Generate text using the trained model from transformers import pipeline text_generator = pipeline("text-generation", model="./gpt-neo-125M-llama", tokenizer="EleutherAI/gpt-neo-125M") generated_text = text_generator("Hello, how are you?", max_length=100) print(generated_text[0]["generated_text"]) ``` 这就是基于 huggingface 的微调 LLaMa 的详细代码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值