MRC-1-机器阅读理解任务的测评方式

最新推荐文章于 2023-04-07 17:13:39 发布
最新推荐文章于 2023-04-07 17:13:39 发布
阅读量940 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42928397/article/details/108845597
版权
本文介绍了机器阅读理解任务的测评方法，包括准确率和召回率的概念，以及自由回答式评测标准ROUGE-N、ROUGE-S、ROUGE-L的详细解释。ROUGE通过计算N元组的召回率、最长公共子序列来评估模型答案的质量。
摘要由CSDN通过智能技术生成

本文是机器阅读理解（Machine Reading Comprehension, MRC）的相关笔记，书目为：朱晨光《机器阅读理解：算法与实践》。推荐看原书！

测评方式

类型 评测方式
多项选择和完形填空 客观 准确率
区间答案式 半客观 精确匹配和F1(准确率和召回率调和平均)
自由回答式 主观 语义匹配(难)，单词水平的匹配率(易)

准确率与召回率

准确率是指在模型给出的答案中有多大比例的单词在标准答案中出现；召回率是指在标准答案中有多大比例的单词在模型给出的答案中出现。

通俗来讲，准确率相当于模型做对了多少，召回率则是看标准答案中有多少被模型做对了。

自由回答式评测标准ROUGE

自由回答式评测标准有ROUGE、BLEU和METEOR

ROUGE-N用来测评N元组（N-gram）的召回率，其公式如下：

在这里插入图片描述

其中，M为模型答案，counts(A)表示N元组s

最低0.47元/天 解锁文章
小鸽的杂货铺
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器阅读理解MRC评价方法说明.docx
03-23
机器阅读理解MRC评价方法说明
区间答案型阅读理解的测评方式F1值，自由回答型阅读理解的测评方式ROUGE-L
xhsun的博客
06-25 1022
区间答案型 精确率(precision)是指预测的答案有多大比例的单词在标准答案中出现 召回率(recall)是指标准答案中的单词有多大比例在预测答案中出现 标准答案 预测答案 精确匹配 精确率 召回率 F1 今天|八点 上午|八点|出发 0 1/3 1/2 0.4 ROUGE-L ROUGE(Recall-Oriented Understudy for Gisting Evaluation) 面向召回率摘要评估研究。 这个评估方式通常用在摘要生成任务的评估中。 ROUGE-L计算预
深度学习，阅读理解，评价指标理解
qq_15821487的博客
07-04 1395
一、 评价指标：F1:预测的答案和标准答案的重叠有多少 ；EM：预测的答案和标准答案的一模一样的有多少 阅读理解模型的鲁棒性是衡量该技术能否在实际应用中大规模落地的重要指标之一。随着当前技术的进步，模型虽然能够在一些阅读理解测试集上取得较好的性能，但在实际应用中，这些模型所表现出的鲁棒性仍然难以令人满意。DuReaderrobust数据集作为首个关注阅读理解模型鲁棒性的中文数据集，旨在考察模型在真实应用场景中的过敏感性、过稳定性以及泛化能力等问题。DuReaderrobust数据集是单篇章、抽取式阅读理解数
自然语言处理——学习笔记（8）问答系统和机器阅读理解
weixin_45752264的博客
01-01 546
问答系统（QA）是一个人与计算机交互的过程。其中包括了解用户的需求，（输入为自然语言查询语句）；从选定的资源中检索相关的文档、数据或知识，产生相应答案并以有效的方式回答问题。输入：自然语言问句输出：答案。
MRC中答案预测实现（numpy、torch、tensorflow）
醉意流年go的博客
07-11 226
MRC问答系统中答案预测
阅读理解调研及NLP其它任务转化为MRC参考
Quentin_nb的博客
06-23 955
阅读理解调研及NLP其它任务转化为MRC参考
人工智能-项目实践-预训练-机器阅读理解 冠军亚军代码及中文预训练MRC模型.zip
最新发布
01-06
本项目实践聚焦于预训练模型在机器阅读理解任务上的应用，特别是针对中文文本的预训练MRC模型。 项目实践的内容包括了获得冠军和亚军的代码，这表明这些解决方案经过了严格验证和优化，具有很高的性能和实用性。...
Python-QANetDuReader中文机器阅读理解
08-11
在人工智能领域，机器阅读理解（Machine Reading Comprehension, MRC）是一项重要的任务，它旨在使计算机能够理解文本并从中抽取信息，以回答复杂的问题。QANet是由百度研究团队提出的一种新型模型，结合了自注意力...
HVR-MRC1说明书
04-06
HVR-MRC1作为一款专业级的内存记录单元，提供了强大的扩展存储能力和灵活的操作方式，是索尼高清摄像机用户的得力助手。用户在使用过程中应严格按照说明书进行操作，以确保设备的正常运行和数据的安全。
MRC-BPSK.rar_MRC- bpsk_mrc
07-14
MRC bpsk with diversity L=3
【NLP】第 1 章 ：机器阅读理解简介
sikh_0529的博客
04-07 725
•机器阅读理解MRC) 类似于人类的阅读理解任务，其中通过回答相关问题来评估模型理解文章的能力。•MRC 可以应用于需要自动处理大量文本数据并理解语义的场景。•自然语言处理有许多与 MRC 密切相关的子领域，例如信息检索和问答系统。•深度学习是人工智能领域最热门的研究方向之一。它极大地提高了模型在许多领域的准确性。当前的大多数 MRC 模型都基于深度学习。•在 MRC 中，答案类型包括多项选择、抽取式、自由式和完形填空测试。•单段落多段落和语料库。•。
Neural Machine Reading Comprehension: Methods and Trends阅读(19年论文)
绿箭薄荷的博客
05-05 234
关键信息 摘要 （1）典型的 MRC 任务：它们的定义、差异和代表性数据集； （2）神经 MRC 的一般架构：主要模块和流行方法 （3） 新趋势：神经 MRC 的一些新兴领域以及相应的挑战。 遗留的未解决问题，设想未来可能会发生什么 介绍 机器阅读理解 (MRC) 是一项测试机器理解自然语言程度的任务。可以通过要求机器根据给定的上下文回答问题来理解自然语言，这有可能彻底改变人类和机器交互的方式，带有MRC技术的搜索引擎可以直接使用自然语言将正确的答案返回，而不是一系列相关网页的用户提出的问题。此外，配备了M
Machine Reading Comprehension（MRC）
Sigmoid
09-24 574
Datasets：SQuAD
初识机器阅读理解（Machine Reading Comprehension）
bin
07-21 8166
机器阅读理解任务理解与文献查阅 参考博客： https://www.jiqizhixin.com/articles/2018-11-26-10 https://hanxiao.github.io/2018/04/21/Teach-Machine-to-Comprehend-Text-and-Answer-Question-with-Tensorflow/ https://hanxiao.gith...
机器阅读理解综述：2019—Neural Machine Reading Comprehension_Methods and Trends
yangyanglulu的博客
05-30 1397
机器阅读理解综述： 2019—Neural Machine Reading Comprehension_Methods and Trends 1、主要内容 此论文对机器阅读理解的任务分类、数据集和主要模型做了分析。 任务：定义：分类： 1.1Cloze Tests 完形填空 2.2 Multiple Choice 单项选择 2.3 Span Extraction 区间抽取 2.4 Free Answering 自由形式 一些示例： A few examples of MRC datasets 该数据
基于神经网络的机器阅读理解综述学习笔记
OldBaby的博客
11-13 898
基于神经网络的机器阅读理解综述学习笔记 一、机器阅读理解的任务定义 1、问题描述 机器阅读理解任务可以形式化成一个有监督的学习问题：给出三元组形式的训练数据(C，Q，A)，其中，C 表示段落，Q 表示与之相关的问题，A 表示对应的答案。我们的目标是学习一个预测器 f，能够将相关段落 C 与问题 Q作为输入，返回一个对应的答案 A 作为输出： f:(C,Q)→A f:(C,Q)\rightarrow A f:(C,Q)→A 一般地，我们将段落表示为 C={w1C，w2C，w3C，…，wmC} ，将问题表示为
机器学习常见评价指标：AUC、Precision、Recall、F-measure、Accuracy
热门推荐
zhihua_oba的博客
11-30 4万+
机器学习常见评价指标：AUC、Precision、Recall、F-measure、Accuracy 主要内容 AUC的计算 Precision、Recall、F-measure、Accuracy的计算 1、AUC的计算   AUC是一个模型评价指标，用于二分类模型的评价。AUC是“Area under Curve（曲线下的面积）”的英文缩写，而这条“Curve（曲线）”就是ROC曲线。
机器阅读理解数据集
weixin_43360616的博客
04-07 3222
机器阅读理解数据集机器阅读理解中的数据集1、完型填空形式2、 多项选择形式3、 区域预测形式4、 自由形式总结 用神经网络解决阅读理解问题是当下的NLP任务的重点之一。本文对机器阅读理解任务中的数据集进行了概括介绍。 机器阅读理解中的数据集 机器阅读理解的一般任务定义是，给机器一篇或多篇文章（Passage，P），机器需要对若干问题（Question，Q）进行回答（Answer，A）。用一个式子总...
【Day 1】机器阅读理解——机器阅读理解简介
日积月累，天道酬勤
11-07 3901
引言 本系列文章会介绍机器阅读理解相关技术和模型。主要按照以下线路： 机器阅读理解介绍 NLP四大基本任务： 序列标注：分词、词性标注 分类任务：文本分类、情感分析 句子关系：问答系统、对话系统 生成任务：机器翻译、文章摘要 阅读理解一般基于NLU(自然语言理解)和NLG(自然语言生成)，是比较特殊的，无法简单的归类与上面某类。 阅读理解 指通过阅读从文本中抽取信息并理解意义的过程。 机器阅读理解(Machine Reading Comprehension,MRC) 是QA问题的子集，含有contex
"索尼HVR-MRC1内存记录器使用说明书-购买备用电池的注意事项
"HVR-MRC1说明书；索尼 记录单元 HVR-MRC1说明书; 2008 Sony Corporation3-290-149-62(1)内存记录器HVR-MRC1使用说明书2目录关于商标•“InfoLITHIUM”是 Sony Corporation 的商标。• i.LINK 和 是 Sony ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值