（七）基于文本的QA问答系统——实践过程

最新推荐文章于 2024-06-04 10:28:27 发布

Simonsdu

最新推荐文章于 2024-06-04 10:28:27 发布

阅读量997

点赞数

分类专栏：基于文本的QA问答系统文章标签：自然语言处理人工智能 nlp

本文链接：https://blog.csdn.net/Simonsdu/article/details/125242328

版权

基于文本的QA问答系统专栏收录该内容

9 篇文章 4 订阅

订阅专栏

文章目录

实践过程

实践过程

bi-encoder

借助huggingface上开源的预训练模型对query和doc分别编码，然后计算embedding编码的余弦相似度。这种方法query只需编码一次，但是分别编码的query和doc不能充分利用大规模语料库的信息。

在Bert模型中，句子的编码常常使用[cls]符对应位置的编码来替代，这是因为Bert可以看到双向信息，即便[cls]在句子开始处，只要设置恰当的训练任务就可以编码语义信息。然而GPT模型只能看到单向的信息，因此常见的做法是使用最后一个token的编码和编码整个句子的信息。

不少和bi-encoder相关的文章都提到平均池化（mean-pooling）通常会有更好的表现。

在这里插入图片描述

图 1平均池化

处理流程如下：
在这里插入图片描述

图 2 biencoder

具体实现代码可参考biencoder.py。

cross-encoder

在Cross-Encoder中，query和doc一起作为输入，模型输出可以衡量这种组合中语义的合理性。优点是可以充分利用大规模语料库中的语义信息，缺点在于对于不同doc，query需要重复被编码。
从而有：

最后使用，其中out_i代表query token所对应的输出，因为对于所有文档而言，query是相等长度的，因此无需进行归一化。
该值一定是负数，其越接近0，代表query和doc相关度越高。

处理流程如下：
在这里插入图片描述

测试用例：
在这里插入图片描述

输出结果：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-leebAh0H-1654999237904)(file:///D:/TEMP/msohtmlclip1/01/clip_image014.png)]

中文预训练模型

对于bi-encoder，需要找到基于中文语料库训练的小型bert模型，可以使用bert-base-chinese（bert-base-chinese · Hugging Face）。

对于cross-encoder，需要找到基于中文语料库的小型gpt模型，可以使用gpt2-chinese。需要注意的是，作者在huggingface中开放了多种中文gpt2预训练模型，本项目中使用的是uer/gpt2-chinese-cluecorpussmall（uer/gpt2-chinese-cluecorpussmall · Hugging Face）。