NLP-阅读理解任务学习总结概述

• 阅读理解任务一般形式

  • 完形填空：给定一篇文章，将文章部分内容mask 掉，然后让模型根据上下文进行填充
    • 阅读理解的形式与预训练非常类似，所以对预训练模型非常适配
    • 完形填空模型，可以看做是最大化条件概率 P(a|C-a)，其中 a 是被移出的内容，C 是上下文
    • 通常是对候选字典进行概率分布输出（注意力值），进行归一化后得到最大的作为结果
    • 应用场景有限
  • 多项选择：给定一篇文章、一个问题和多个备选答案，模型从多个备选答案中选择正确答案
    • 多项选择模型，可以看做是最大化概率 P(a|C,Q,A)，其中 a 代表正确答案，C 是上下文，Q 是问题，A 是候选答案列表
    • 类似于双塔模型，一侧是输入文章和问题，一侧是候选答案，最终输出概率值最高的
    • 实际场景往往没有候选答案，局限性非常大
  • 片段抽取：给定一篇文章和一个问题，让模型从文章抽取连续序列作为问题的答案
    • 片段抽取任务，把文章看做是不同序列的集合，从中选择连续子序列作为答案，输出一般是start 和 end 索引
    • 模型可以看做是最大化概率 P(a|C,Q)，C 是上下文（文章），Q 是问题，a 是抽取的序列集合
  • 自由生成：给定一个文章和一个问题，让模型生成一个序列回答问题，不局限于文章中的句子
    • 自由生成内容的通畅性、正确性是难点

• 阅读理解评估指标

  • Accuracy：全部预测结果中，正确结果数量的占比
    • 完形填空和多项选择是存在标准答案的，因此一般用 accuracy 来评判
  • EM(Exact Match)：预测结果与正确结果匹配，完全匹配则计数1，求的百分比
    • 常用于抽取式阅读理解
  • F1：准确率和召回率的调和平均数
    • 常用于抽取式阅读理解
  • BLEU-4：基于 n-gram 的评估指标
    • 常用于生成式阅读理解
  • Rouge-L：基于最长公共子序列的准召加权调和平均数
    • 通常用来评估自动摘要的好坏，其中 L 代表最长公共子序列
    • 常用于生成式阅读理解

• 阅读理解的一般模型结构

  • 嵌入层
    • 用于将输入数据 embedding 操作
    • 常见的方法包括预训练、词向量技术
  • 特征层
    • 这一层主要是获取上下文特征表示
    • 常见 lstm、cnn、transformer
  • 交互层
    • 实现段落与段落、内容与问题、问题与答案之间的交互
    • 常见的方式 （单/双向）attention机制
  • 输出层
    • 产生最终的结果
    • 完形填空只需要输出最高概率分布或者最高得分的值
    • 多项选择任务需要对候选答案进行打分，得到最高得分的答案
    • 抽取式需要匹配到与问题最相关的序列结合，并输出起止索引
    • 生成式任务需要自由生成，类似 GPT-2