5-1 理论课：检索式文本问答

一、问答系统

问答系统的应用，其实是对话系统的一种类型，偏向知识型对话

细分类别搜索场景的分类，文本问答，知识库问答，表格问答，视频问答

文本问答，分检索式问答和生成式问答，检索式问答分两步、段落检索和阅读理解，阅读理解是问答系统的一个步骤

二、阅读理解

阅读理解定义

阅读理解分类和评估方式

抽取式阅读理解其实本质上是个序列标注任务，判断没个字是起始位置和结束位置这两个类别的概率大小

相关模型方法，语义编码层就是有词级别的表示变成句子级别的表示



阅读理解的泛化性问题，多任务学习，现在是pipline的方式，先检索后阅读理解，可以直接端到端训练

根据问题的相似和不相似，过稳定和过敏感

三、段落检索

检索方式，基于词和基于向量，表面意思和语义信息

对偶就是双塔，交互式就是单塔，实际落地就是对偶式，这个已经进行了应用

这个增强训练样本，就是语义索引模型，相似的越近，不相似的越远

BM25就是一种相似度计算方式，先把句子分词计算词和文本的相似度，在结合权重组合得到句子和文本的相似度


总结