MedQA、MedMCQA、PubMedQA 和 MMLU数据集简介

最新推荐文章于 2025-03-06 12:33:06 发布
最新推荐文章于 2025-03-06 12:33:06 发布
阅读量3.8k 收藏 18
点赞数 10
分类专栏： 解决方案 文章标签： 数据集
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46396470/article/details/142686020
版权

MedQA、MedMCQA、PubMedQA 和 MMLU数据集简介

1. MedQA数据集

  • 简介

    • MedQA 数据集是一个面向医学领域的问答数据集，模拟了美国医疗执照考试（USMLE）的风格。它包含了英文、简体中文和繁体中文的问题，旨在评估模型对医学知识的理解和推理能力。

  • 数据集主页

  • 问题类型

    • 单选题

  • 数据集的完整格式

{
   
  "question": "问题文本",
  "options": ["选项A", "选项B", "选项C", "选项D"],
  "answer": "A"
}
  • 模型的回答
{
   
  "id":
最低0.47元/天 解锁文章
大模型评测数据集：MMLU、MMCU、C-Eval
u013250861的博客
08-11 9896
DeepMind 的 Gopher 和 Chinchilla 这两个模型甚至只看 MMLU 的分数，因此我们想要构造一个中文的，有足够区分度的，多学科的基准榜单，来辅助开发者们研发中文大模型。我们花了大概三个月的时间，构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代 …近期，中文大模型研发如火如荼，但中文评价基准却很少。面对国内大语言模型万箭齐发的局面，如何更好地提升大语言模型对中文的理解能力，更好地服务于全球的中文用户，甲骨易。
MMLU数据集简介
最新发布
ZJQ的博客
03-30 298
MMLU（Massive Multitask Language Understanding）是由OpenAI开发的多任务语言理解基准数据集，旨在评估语言模型在跨领域知识推理和复杂任务中的综合能力。其核心设计理念是通过覆盖多学科、多层次的问题，模拟人类在教育、职业等场景中的知识应用，从而衡量模型的通用性和深度理解能力。MMLU作为当前最权威的多任务语言理解基准之一，其价值不仅在于提供标准化的评估工具，更在于推动模型向“通用知识推理”方向发展。
Nature!上海交通大学与上海人工智能研究所联合推出医学多语言模型，模型数据代码开源
m0_59164304的博客
11-10 1073
最近的学术文献中，大型语言模型（LLMs）在医疗领域展示出巨大潜力。例如，闭源模型如GPT-4和MedPalm-2表现卓越，并成功通过了美国医师执照考试（USMLE）。同时，开源模型如Llama 2也为医学专业语言模型的开发提供了支持，如MEDITRON、PMC-LLaMA、MedAlpaca和ChatDoctors等，逐渐缩小与闭源同行的性能差距。然而，这些精密医疗语言模型主要集中在英语应用上，限制了其推广的潜力，未能充分惠及语言多样性受众。因此，该研究在努力开发一个开源、多语言的医疗语言模型。
WebMedQA线上医学QA-数据集
03-12
cr: University of Science and Technology of China.本数据集由中国科技大学提供。 Applying deep matching networks to Chinese medical question answering a study and a dataset.pdf LICENSE.txt medQA.PNG medQA.test.txt WebMedQA_test_datasets.zip WebMedQA_train_datasets.zip WebMedQA_valid_datasets.zip
PubMedQA Dataset-数据集
03-04
The dataset is for Biomedical Research Question Answering pubmedqa_datasets.txt
PubMedQA数据集分享
yinizhilianlove的博客
03-08 1044
这个数据集的主题分布涵盖了广泛的研究领域，包括回顾性、前瞻性和队列研究，不同年龄组，以及与医疗保健相关的主题，比如治疗结果、预后和疾病风险因素。：这个子集包含了 211,300 个 PubMed 文章，根据论文标题自动生成的问题和使用简单启发式方法生成的是/否答案标签。：这个子集包含了从 PubMed 文章中收集的 1,000 个手动注释的是/否/可能的问答数据。：这个无标签的子集包含了从 PubMed 文章中收集的 61,200 个上下文-问题对数据。编辑: ShuYini。
MMLU数据集分享
yinizhilianlove的博客
03-07 1731
MMLU数据集
MMLU Pro数据集
百态老人的博客
11-28 1300
MMLU-Pro是一个增强型基准测试数据集，旨在评估语言理解模型在更广泛和更具挑战性的任务中的表现。它整合了来自多个来源的问题，包括原始 MMLU 数据集、STEM 网站、TheoremQA 和 SciBench 等，包含 12K 个跨学科的复杂问题。在大语言模型蓬勃发展的时代，MMLU-Pro 在推动 AI 于不同领域的语言理解与推理能力迈向极限方面发挥着重要作用。然而，其也面临一些争议。
【医学影像】学前基础（团队、资源等）
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
12-19 6029
在做任何研究之前，都要对领域内大牛团队，相关学习基础进行一定的了解，于是下面是总结了大牛+数据集+代码快速浏览+期刊会议了解。
LLMs：LLMs大语言模型评估的简介(两标+六性+九维，大模型排行榜多种)，两类基准—通用任务的基准(单任务【BLEU/ROUGE-MT-Bench/Chatbot Arena】、多任务【Super
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-30 4978
​ LLMs：LLMs大语言模型评估的简介(两标(NLUGR指标/REBT)+六性(理解性+生成性+多样性+泛化性+能耗性+可解释性)+九维(2大能力域【理解/生成】+3性【丰富性/多样性/适应性】+4大子任务【逻辑推理/问题解决/对和聊天/情感分析】)，大模型排行榜多种)，两类基准——通用任务的基准(单任务【BLEU/ROUGE-MT-Bench/Chatbot Arena】、多任务【SuperGLUE/MMLU/BIG-bench/HELM/AGIEval/C-EVAL/Xiezhi】、基于工具【API
AI在医疗领域：MEDIC 全面评估大模型在医疗领域的应用
声纹感知 洞察芯声
09-14 1374
本文提出了MEDIC框架，该框架从五个关键临床能力维度对LLMs进行全面评估：医学推理、伦理与偏见、数据与语言理解、情境学习以及临床安全。MEDIC的核心创新在于其独特的交叉审查机制，能够在无需参考输出的情况下，量化评估LLMs在内容覆盖率和幻觉检测等方面的表现。
Existing-Medical-QA-Datasets:医学领域的多模式问答
05-08
现有的医学QA和VQA数据集 医学领域的多模式问答（QA）：现有数据集和系统的摘要 我为有关多模式质量检查的CMU / LTI演讲准备了此摘要。 我的幻灯片位于 此列表并不详尽。 您可以通过电子邮件将相关医学QA数据集和系统的链接和参考发送给我，我将尽快更新列表。 同样，一些与挑战相关的数据集也不再公开可用。 您可以联系组织者以获取数据。 ***两个主要任务：医疗问题解答（QA）和视觉问题解答（VQA）*** I）医疗质量检查数据集： 循证医学总结语料库（Mollá，2010）： ://sourceforge.net/projects/ebmsumcorpus CLEF QA4MRE Alzheimer的任务（Peñas等，2012）。 BioASK数据集（2012-2020）： ://bioasq.org/participate/challenges TREC LiveQ
cMedQA中文社区医学问答数据集-数据集
03-12
cr: The National University of Defense Technology.本数据集由国防科技大学提供。 cMedQA_answers_datasets.csv cMedQA_dev_candidates_datasets.txt cMedQA_questions_datasets.csv cMedQA_test_candidates_datasets.txt cMedQA_train_candidates_datasets.txt Chinese Medical Question Answer Matching Using End-to-End Character-Level Multi-Scale CNNs.pdf
【人工智能】谷歌、DeepMind联合提出Med-PaLM 2，MedQA数据集上的得分高达86.5%
AI天才研究院
05-29 1万+
在我们之前的Med-PaLM工作中，我们展示了医学问题回答的全面基准测试、模型答案的人类评估以及医学领域的对齐策略的重要性。虽然这些基准测试是衡量LLMs中所编码的知识的有用指标，但它们并不能捕捉模型生成事实性、安全的回答以回答需要微妙答案的问题的能力，这在真实世界的医学问题回答中很常见。• 长形式回答消费者医疗问题的人类评估表明，Med-PaLM 2的答案在与临床效用相关的九个方面中，如事实性、医学推理能力和低伤害可能性等，优于医生和Med-PaLM的答案。Med-PaLM 2的集成细化（ER）示意图。
PubMedQA生物医学研究问题解答数据集（2019）下载
机器学习是魔鬼的博客
07-07 2307
PubMedQA是从PubMed摘要中收集的新颖的生物医学问答（QA）数据集。PubMedQA的任务是使用相应的摘要以是/否/可能的方式回答研究问题（例如：术前他汀类药物是否能减少冠状动脉搭桥术后的房颤？）。 PubMedQA具有1k专家注释，61.2k未标记和211.3k人工生成的QA实例。每个PubMedQA实例均由 （1）一个问题（既可以是现有研究文章的标题，又可以是从其中得出的问题）组成； （2）上下文是没有其结论的相应摘要； （3）长答案，即摘要，大概可以回答研究问题； （4）是/否/也许是答案.
大模型能力评测实战指南：基于MMLU数据集的DeepSeek API全维度测试方法
qq_44493093的博客
03-06 1931
本文完整公开了一套开源的自动化测试解决方案，专为评估大语言模型API性能而设计。通过MMLU（Massive Multitask Language Understanding）专业测评数据集，开发者可以：工具亮点特性 ✅ 多维度指标实时监控（准确率/耗时/Token经济性） ✅ 智能失败重试与错误隔离机制 ✅ 自动生成可视化测试报告 ✅ 灵活支持主流API接口配置 ✅ 开源可扩展的模块化架构应用场景示例本方案已集成对DeepSeek系列模型的专项测试模块，同时兼容OpenAI、Claude等主流API架构。
LLMs：MMLU基准(大规模多任务语言理解)的简介(MMLU-ZS/MMLU-FS)、安装、使用方法之详细攻略
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-10 1万+
​ LLMs：MMLU基准(大规模多任务语言理解)的简介(MMLU-ZS/MMLU-FS)、安装、使用方法之详细攻略 目录 MMLU基准的简介 MMLU基准的安装 MMLU基准的使用方法 MMLU基准的简介 2020年9月7日，Dan Hendrycks, Collin Burns, Steven Basart等人提出了一种新的测试方法，用于衡量文本模型的多任务准确性。该测试涵盖了57个任务，包括基本数学、美国历史、计算机科学、法律等多个领域。为了在这个测试中获得高准
【评测】MMLU(大规模多任务语言理解)简介(MMLU-ZS/MMLU-FS)
qq_32874697的博客
03-14 3355
在MMLU基准中，涉及到了两种特定的测试设置，即mmlu-zs（zero-shot）和mmlu-fs（few-shot）。mmlu-zs测试涉及在没有任何训练数据的情况下对模型进行评估，而mmlu-fs测试涉及在有限的训练数据情况下对模型进行评估。MMLU基准的目标是揭示模型在各个任务上的盲点和不足，并推动模型在多任务语言理解方面的进一步改进和发展。mmlu-zs和mmlu-fs测试是MMLU基准中的重要组成部分，用于衡量模型在零样本和少样本学习中的能力。使用MMLU基准对一个预训练的语言模型进行评估。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值