MedQA、MedMCQA、PubMedQA 和 MMLU数据集简介

最新推荐文章于 2024-12-22 09:35:40 发布
最新推荐文章于 2024-12-22 09:35:40 发布
阅读量3.6k 收藏 18
点赞数 10
分类专栏： 解决方案 文章标签： 数据集
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46396470/article/details/142686020
版权

MedQA、MedMCQA、PubMedQA 和 MMLU数据集简介

1. MedQA数据集

  • 简介

    • MedQA 数据集是一个面向医学领域的问答数据集，模拟了美国医疗执照考试（USMLE）的风格。它包含了英文、简体中文和繁体中文的问题，旨在评估模型对医学知识的理解和推理能力。

  • 数据集主页

  • 问题类型

    • 单选题

  • 数据集的完整格式

{
   
  "question": "问题文本",
  "options": ["选项A", "选项B", "选项C", "选项D"],
  "answer": "A"
}
  • 模型的回答
{
   
  "id":
最低0.47元/天 解锁文章
MMLU数据集简介
ZJQ的博客
03-30 196
MMLU（Massive Multitask Language Understanding）是由OpenAI开发的多任务语言理解基准数据集，旨在评估语言模型在跨领域知识推理和复杂任务中的综合能力。其核心设计理念是通过覆盖多学科、多层次的问题，模拟人类在教育、职业等场景中的知识应用，从而衡量模型的通用性和深度理解能力。MMLU作为当前最权威的多任务语言理解基准之一，其价值不仅在于提供标准化的评估工具，更在于推动模型向“通用知识推理”方向发展。
知识图谱-MedQA数据集
最新发布
03-22
知识图谱-MedQA数据集
WebMedQA线上医学QA-数据集
03-12
cr: University of Science and Technology of China.本数据集由中国科技大学提供。 Applying deep matching networks to Chinese medical question answering a study and a dataset.pdf LICENSE.txt medQA.PNG medQA.test.txt WebMedQA_test_datasets.zip WebMedQA_train_datasets.zip WebMedQA_valid_datasets.zip
MedQA 项目常见问题解决方案
gitblog_00977的博客
12-22 536
MedQA 项目常见问题解决方案 MedQA Code and data for MedQA 项目地址: https://gitcode.com/gh_mirrors/me/MedQA ...
大模型评测数据集：MMLU、MMCU、C-Eval
u013250861的博客
08-11 9828
DeepMind 的 Gopher 和 Chinchilla 这两个模型甚至只看 MMLU 的分数，因此我们想要构造一个中文的，有足够区分度的，多学科的基准榜单，来辅助开发者们研发中文大模型。我们花了大概三个月的时间，构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代 …近期，中文大模型研发如火如荼，但中文评价基准却很少。面对国内大语言模型万箭齐发的局面，如何更好地提升大语言模型对中文的理解能力，更好地服务于全球的中文用户，甲骨易。
PubMedQA Dataset-数据集
03-04
The dataset is for Biomedical Research Question Answering pubmedqa_datasets.txt
PubMedQA数据集分享
yinizhilianlove的博客
03-08 999
这个数据集的主题分布涵盖了广泛的研究领域，包括回顾性、前瞻性和队列研究，不同年龄组，以及与医疗保健相关的主题，比如治疗结果、预后和疾病风险因素。：这个子集包含了 211,300 个 PubMed 文章，根据论文标题自动生成的问题和使用简单启发式方法生成的是/否答案标签。：这个子集包含了从 PubMed 文章中收集的 1,000 个手动注释的是/否/可能的问答数据。：这个无标签的子集包含了从 PubMed 文章中收集的 61,200 个上下文-问题对数据。编辑: ShuYini。
MMLU数据集分享
yinizhilianlove的博客
03-07 1702
MMLU数据集
MMLU Pro数据集
百态老人的博客
11-28 1265
MMLU-Pro是一个增强型基准测试数据集，旨在评估语言理解模型在更广泛和更具挑战性的任务中的表现。它整合了来自多个来源的问题，包括原始 MMLU 数据集、STEM 网站、TheoremQA 和 SciBench 等，包含 12K 个跨学科的复杂问题。在大语言模型蓬勃发展的时代，MMLU-Pro 在推动 AI 于不同领域的语言理解与推理能力迈向极限方面发挥着重要作用。然而，其也面临一些争议。
PubMedQA生物医学研究问题解答数据集（2019）下载
机器学习是魔鬼的博客
07-07 2261
PubMedQA是从PubMed摘要中收集的新颖的生物医学问答（QA）数据集。PubMedQA的任务是使用相应的摘要以是/否/可能的方式回答研究问题（例如：术前他汀类药物是否能减少冠状动脉搭桥术后的房颤？）。 PubMedQA具有1k专家注释，61.2k未标记和211.3k人工生成的QA实例。每个PubMedQA实例均由 （1）一个问题（既可以是现有研究文章的标题，又可以是从其中得出的问题）组成； （2）上下文是没有其结论的相应摘要； （3）长答案，即摘要，大概可以回答研究问题； （4）是/否/也许是答案.
Existing-Medical-QA-Datasets:医学领域的多模式问答
05-08
现有的医学QA和VQA数据集 医学领域的多模式问答（QA）：现有数据集和系统的摘要 我为有关多模式质量检查的CMU / LTI演讲准备了此摘要。 我的幻灯片位于 此列表并不详尽。 您可以通过电子邮件将相关医学QA数据集和系统的链接和参考发送给我，我将尽快更新列表。 同样，一些与挑战相关的数据集也不再公开可用。 您可以联系组织者以获取数据。 ***两个主要任务：医疗问题解答（QA）和视觉问题解答（VQA）*** I）医疗质量检查数据集： 循证医学总结语料库（Mollá，2010）： ://sourceforge.net/projects/ebmsumcorpus CLEF QA4MRE Alzheimer的任务（Peñas等，2012）。 BioASK数据集（2012-2020）： ://bioasq.org/participate/challenges TREC LiveQ
cMedQA中文社区医学问答数据集-数据集
03-12
cr: The National University of Defense Technology.本数据集由国防科技大学提供。 cMedQA_answers_datasets.csv cMedQA_dev_candidates_datasets.txt cMedQA_questions_datasets.csv cMedQA_test_candidates_datasets.txt cMedQA_train_candidates_datasets.txt Chinese Medical Question Answer Matching Using End-to-End Character-Level Multi-Scale CNNs.pdf
【医学影像】学前基础（团队、资源等）
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
12-19 4842
在做任何研究之前，都要对领域内大牛团队，相关学习基础进行一定的了解，于是下面是总结了大牛+数据集+代码快速浏览+期刊会议了解。
LLMs：LLMs大语言模型评估的简介(两标+六性+九维，大模型排行榜多种)，两类基准—通用任务的基准(单任务【BLEU/ROUGE-MT-Bench/Chatbot Arena】、多任务【Super
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-30 4949
​ LLMs：LLMs大语言模型评估的简介(两标(NLUGR指标/REBT)+六性(理解性+生成性+多样性+泛化性+能耗性+可解释性)+九维(2大能力域【理解/生成】+3性【丰富性/多样性/适应性】+4大子任务【逻辑推理/问题解决/对和聊天/情感分析】)，大模型排行榜多种)，两类基准——通用任务的基准(单任务【BLEU/ROUGE-MT-Bench/Chatbot Arena】、多任务【SuperGLUE/MMLU/BIG-bench/HELM/AGIEval/C-EVAL/Xiezhi】、基于工具【API
AI在医疗领域：MEDIC 全面评估大模型在医疗领域的应用
声纹感知 洞察芯声
09-14 1362
本文提出了MEDIC框架，该框架从五个关键临床能力维度对LLMs进行全面评估：医学推理、伦理与偏见、数据与语言理解、情境学习以及临床安全。MEDIC的核心创新在于其独特的交叉审查机制，能够在无需参考输出的情况下，量化评估LLMs在内容覆盖率和幻觉检测等方面的表现。
【人工智能】谷歌、DeepMind联合提出Med-PaLM 2，MedQA数据集上的得分高达86.5%
热门推荐
AI天才研究院
05-29 1万+
在我们之前的Med-PaLM工作中，我们展示了医学问题回答的全面基准测试、模型答案的人类评估以及医学领域的对齐策略的重要性。虽然这些基准测试是衡量LLMs中所编码的知识的有用指标，但它们并不能捕捉模型生成事实性、安全的回答以回答需要微妙答案的问题的能力，这在真实世界的医学问题回答中很常见。• 长形式回答消费者医疗问题的人类评估表明，Med-PaLM 2的答案在与临床效用相关的九个方面中，如事实性、医学推理能力和低伤害可能性等，优于医生和Med-PaLM的答案。Med-PaLM 2的集成细化（ER）示意图。
开源医疗大模型排行榜: 健康领域大模型基准测试
AI工程化、开源分享、文档翻译、代码笔记
04-30 1681
开源医疗大模型排行榜: 健康领域大模型基准测试 一、引言 二、数据集、任务和评估设置 1、MedQA 2、MedMCQA 3、PubMedQA 4、MMLU 子集 (医学和生物学) 三、洞察与分析 四、提交你的模型以供评估 五、下一步是什么？扩展开源医疗大模型排行榜 六、致谢 七、关于开放生命科学 AI 八、引用
LLaMA 入门指南
是我的博客
02-08 5131
LLaMA（Large Language Model – Meta AI）是一种由Facebook母公司Meta AI提出的大型语言模型。它是设计用来理解和生成自然语言文本的模型。LLaMA通过大规模数据集训练，可以在多种任务中表现出色，包括文本分类、文本生成、问答等。LLaMA（Large Language Model Meta AI）是近年来在自然语言处理和机器学习领域引起广泛关注的模型。其背后的数据集是模型训练成功的关键。以下是LLaMA模型训练中可能涉及到的一些常见数据集类型。
medqa-chatglm
08-16
MedQA-ChatGLM是一种基于语言生成模型的医疗问答系统。它可以根据输入的问题生成相应的回答，并且专注于医疗领域的问题。该系统的核心是一个语言生成模型，它通过训练大量的医疗问答数据来学习问题和回答之间的关系，从而能够生成准确和有用的回答。 MedQA-ChatGLM的使用非常简单，用户只需输入自己的问题，系统会立即生成相应的回答。这个问答系统有多种应用场景，比如患者可以使用这个系统咨询医生关于疾病诊断和治疗的问题，医生可以借助这个系统快速找到相关的医学知识。此外，MedQA-ChatGLM还可以用于医学教育，帮助学生学习和理解各种医学知识。 为了确保回答的准确性和可靠性，MedQA-ChatGLM经过了大规模的训练和测试。它使用了大量的医学问答对作为训练数据，并通过不断迭代优化模型的性能。系统也会根据用户的反馈和评价进行改进，以提供更好的用户体验。 总之，MedQA-ChatGLM是一种基于语言生成的医疗问答系统，它能够根据用户的问题生成相应的回答，并提供准确和有用的医学知识。这个系统具有广泛的应用前景，能够帮助患者咨询医生、医生获取医学知识，并用于医学教育等领域。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值