使用HealthBench基准测评医疗模型方案

于 2025-05-21 10:54:34 发布
阅读量3.9k 收藏 20
点赞数 20
分类专栏： 大模型 文章标签： 大模型测评 医疗 健康医疗
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DK_Allen/article/details/148106817
版权

要使用 HealthBench 的标准对你蒸馏后的医疗模型进行测评和打分，你需要按照 HealthBench 提供的基准测试框架和任务数据集，来评估你模型在多个医疗NLP任务上的性能。下面是一个详细的步骤指南：

✅ HealthBench简介（简要了解）

HealthBench 是一个用于评估**医疗大语言模型（MedLLMs）**的标准基准，涵盖6大任务：

  1. Medical Question Answering (QA)
  2. Summarization
  3. Medical Reasoning
  4. Radiology Report Generation
  5. Medical Dialogue
  6. Medical Fact Verification

每个任务都有明确的子任务和评价指标。

🧪 测评步骤概览

Step 1: Clone HealthBench 仓库

GitHub 地址：
👉

最低0.47元/天 解锁文章
博客
二维码支付概念及原理
05-23 2463
详细介绍了二维码支付的发展历程和概念。作者提到，银联在2016年推出了自有二维码支付产品，并逐步升级为独立的支付平台。文章还解释了主扫和被扫的概念，以及C2B码的结构和用途。
博客
Clickhouse的部署及使用指南
05-23 2777
ClickHouse是由俄罗斯Yandex公司开发的开源列式存储数据库，专为在线分析处理（OLAP）设计，支持高效的SQL查询和实时数据分析。与传统的行式存储不同，列式存储将数据按列组织，特别适合处理大规模数据分析任务，能够显著减少查询时的数据扫描量。ClickHouse具备高吞吐写入能力、数据分区与线程级并行处理等特性，支持多种表引擎（如MergeTree、ReplacingMergeTree等），适用于处理结构化的不可变数据流，如日志和事件数据。它不适用于事务性工作负载（OLTP）或高并发的键值查询。C
博客
MedBench评测平台
05-23 2386
MedBench是一个专注于中文医疗大模型评测的开放平台，旨在通过科学、公平和严谨的评测体系，全面评估大模型在医疗领域的各项能力。该平台提出了五大评测维度：医学语言理解、医学语言生成、医学知识问答、复杂医学推理以及医疗安全和伦理。每个维度下设有具体的测试任务，如医学信息抽取、医学术语标准化、医学文本分类、电子病历生成、医学考试、临床问诊、医学伦理考题等。MedBench基于权威医学标准，持续更新高质量医学数据集，并通过多维度量化模型能力，确保评测的全面性和准确性。评测数据集的生成和评测指标的设定均经过精心设
博客
Unsloth 微调训练
05-22 2445
Unsloth 是一个高效的语言模型微调工具，支持全微调、预训练以及4-bit、8-bit和16-bit的训练。其内核采用OpenAI的Triton语言编写，并配备了手动反向传播引擎，确保精确度无损失。Unsloth兼容2018年及以后的NVIDIA GPU，最低要求CUDA能力7.0，支持Linux和Windows系统。通过Bitsandbytes，它还支持4位和16位的QLoRA/LoRA微调。安装简便，推荐使用pip安装。Unsloth提供了详细的文档和高级安装说明，用户可以通过GitHub和CSDN
博客
阿里PAI平台使用指南
05-22 3187
阿里云PAI平台提供全面的AI开发与部署服务，涵盖数据标注、模型开发、训练、部署及AI应用场景。数据标注服务PAI-iTAG支持多模态数据标注，提供全托管外包服务。模型开发方面，PAI-ModelGallery和PAI-QuickStart集成多种预训练模型，支持零代码开发。交互式建模PAI-DSW和可视化建模PAI-Designer分别提供编程环境和低代码开发工具。模型训练服务PAI-灵骏和PAI-DLC支持大规模分布式训练。模型部署服务PAI-EAS和PAI-Blade优化推理性能。AI应用场景包括AI
博客
模型能力对比-四（训练模型基于Qwen2.5-14B-Instruct模型+huatuo17k原数据+deepseek诊断与其他模型分数测评）
05-22 2934
训练模型（基于Qwen2.5-14B-Instruct模型+huatuo17k原数据+deepseek诊断）与其他模型分数测评
博客
模型能力对比-三（训练模型基于Qwen2.5-14B-Instruct模型+huatuo17k原数据+deepseek诊断测评）
05-22 2894
训练模型（基于Qwen2.5-14B-Instruct模型+huatuo17k原数据+deepseek诊断）测评
博客
模型能力对比-二（deepseek、baichuan-M1等）
05-22 2924
本研究对五种基于GPT的医疗模型（ChatGPT、Qwen2.5-14B-Instruct、Baichuan-M1-14B-Instruct、DeepSeek-R1-Distill-Qwen-14B、DeepSeek-V2-Lite-Chat-16B）进行了测评，使用高铁医疗仿真数据作为测试集。测评内容包括模型生成数据的准确性、诊断的合理性及建议的实用性。结果显示，GPT和DeepSeek-R1-Distill-Qwen-14B在诊断全面性和准确性上表现最佳，其次是DeepSeek-V2-Lite-Chat
博客
模型能力对比-一（deepseek、baichuan-M1等）
05-22 3254
deepseek、baichuan-M1等模型能力对比
博客
大模型幻觉率测评工具
05-21 3698
本文介绍了多个用于评估大型语言模型（LLM）幻觉问题的工具和基准。OpenCompass是一个支持多种模型和数据集评估的平台，但试用时发现官网报错无法使用。ANAH-V2是一个专注于幻觉检测和缓解的基准测试工具。HaluEval提供了一种自动生成幻觉样本的方法，用于LLM评估。SelfCheckGPT是一种基于简单采样的方法，用于对黑盒模型的响应进行事实核查。UHGEval是一个新的幻觉评测基准，旨在全面评测幻觉现象。HalluQA是复旦大学与上海人工智能实验室构建的中文幻觉评测数据集，使用非幻觉率作为指标
博客
vectara-HHEM 模型幻觉评估
05-21 3885
HHEM排行榜用于评估大型语言模型（LLM）在文档总结任务中引入幻觉的频率，使用HHEM-2.1幻觉检测模型进行评测。排行榜和相关资源可在Hugging Face和GitHub上获取。测试数据集包含1006个问题，模型生成的答案通过HHEM-2.1模型进行幻觉率评估，值越小表示幻觉概率越高。实验评估了Qwen3-32B模型在思维模式和非思维模式下的幻觉率，结果显示非推理模型的幻觉率为3.9%，推理模型为6.5%。此外，在线版本的Qwen3-32B和Qwen3-8B模型的幻觉率分别为4.9%和3.4%。
博客
Fay数字人搭建教程
05-21 3572
本文提供了在Windows 10及以上系统上，使用Nvidia RTX 3060显卡搭建UE数字人模型的详细步骤。首先，从GitHub下载并解压Fay-UE5工程。接着，安装Epic Games Launcher并下载Unreal Engine 5.0.3版本，确保硬盘有60GB空余空间。随后，在Epic Games Launcher中安装必要的插件，如BlueprintWebSockets和MetaHumanSDK等。此外，还需安装Visual Studio 2019，并选择“使用C++的桌面开发”工作负
博客
金融市场基础知识——第五章 债券
05-20 4077
金融市场基础知识——第五章 债券
博客
金融市场基础知识——第三章 证券市场主体
05-20 4314
金融市场基础知识——第三章 证券市场主体
博客
金融市场基础知识——第三章 证券市场主体
05-20 4123
金融市场基础知识——第三章 证券市场主体
博客
金融市场基础知识——第一章 金融市场体系
05-20 4273
金融市场基础知识——第一章 金融市场体系
博客
证券从业资格证学习课程及考试介绍
05-20 4812
证券从业资格证及学习、课程考试流程介绍
博客
C-eval python数据处理
05-19 4742
本文介绍了两个Python脚本，用于处理C-Eval数据集。第一个脚本C-eval-data-csv-json.py将CSV格式的C-Eval开发集转换为JSON格式的训练集。它读取指定目录下的JSON文件，提取问题、选项和答案，并将其格式化为包含指令、输入和输出的JSON对象，最终保存为ceval-dev.json文件。第二个脚本C-eval-result-submit.py将C-Eval测试结果转换为提交格式。它读取测试结果文件，提取答案并按文件名称和索引组织数据，最终保存为ceval-result.j
博客
百川大模型（Baichuan-13B-chat）部署训练文档
05-19 5580
本文介绍了在本地环境中安装Anaconda、配置CUDA和PyTorch的步骤，以及如何在Web端部署和微调大模型。首先，需安装Anaconda3和适配的CUDA版本，并确保PyTorch与CUDA版本匹配。接着，通过Streamlit部署Web应用，并安装必要的依赖如bitsandbytes和transformers。在微调部分，使用LLaMA Efficient Tuning工具进行LoRA微调，包括配置数据集、设置训练参数和启动训练。训练过程中，监控损失函数曲线以评估模型收敛情况。最后，通过预测和评估
博客
SFT监督微调
05-19 3122
本文介绍了如何使用预训练深度学习模型进行监督微调（Supervised Fine-Tuning, SFT），以优化模型在特定任务上的表现。微调过程涉及在有标签的数据集上训练模型，通过最小化预测结果与真实标签之间的差异来调整模型参数。关键步骤包括选择合适的数据集、设置训练参数（如学习率、批次大小、训练轮数等），以及使用特定的微调技术（如LoRA）。此外，文章还详细说明了如何通过命令行参数配置训练过程，包括模型路径、输出目录、日志记录和模型保存频率等。通过这种方式，可以在有限的计算资源下高效地进行模型微调，同时
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值