NLP相关任务的基本流程
文本预处理:
- 去除冗余字符标记(正则表达式)
- 分词(jieba)
- 单词处理(英文:大写->小写,单词还原,同义词扩展)
- 去除停用词
- 保护词应用于分词模块:开课吧,后厂理工学院
- 同义词用于分词后的语料扩展:扩展->扩充
- 停止词用于去除干扰信息,提取主要信息:的, 么, 了……
MRC四大任务
完形填空:原文中除去若干关键词,需要模型填入正确的单词或短语。
多项选择:模型需要从给定的若干选项中选出正确答案
答案抽取:回答限定是文章的一个子句,需要模型在文章中标注正确答案的起始和终止位置。
自由回答:不限定模型生成答案的形式,允许模型自由生产数据
各任务相关数据集
-
完形填空:
- CNN&Daily Mail
- CBT
-
单项选择
- MC Test
- RACE
-
答案抽取:
- SQuAD
- NewsQA
-
自由回答:
- MS MARCO
- DuReader2.0(10w可回答问题 +5w无答案问题)数据集在设计无答案的问题,就是看模型是否真的理解了问题,而不是单纯的匹配。
机器阅读理解架构及方法
-
特征+传统机器学习
-
BERT以前:各种神奇的QA架构
-
BERT以后:预训练+微调+trick
总体架构
最重要的模块是:Context-Query Interaction
评测指标
Accuracy:一共m个问题答对了n个
F1
Rouge-L:
最长公共子序列LCS,X为目标,Y为模型,m为标准答案的单词个数,n为模型答案的单词个数。 β \beta β一般取无穷大。所以F=R。
BLEU
示例:
candidate: the cat sat on the mat
reference: the cat is on the mat
就 b