![3f07350b94524aaa2b1b820c4e0da35e.png](https://i-blog.csdnimg.cn/blog_migrate/e3dad929da66419f8406c2a621d7eab7.jpeg)
1、概述
在介绍深层次交互匹配方法之前,本文接着多语义匹配方法[1]介绍基于BERT模型实现文本匹配的方法。将其单独介绍主要因为BERT实现文本匹配操作方便且效果优秀,比较适用于工业应用场景。关于bert模型,Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018)[2]在论文中有较为详细的介绍,官方代码可以在以下GitHub网址中找到:https://github.com/google-research/bert[3]。
2、模型&实践
2.1 BERT模型介绍
BERT本质上是一个两段式的NLP模型。第一个阶段叫做:Pre-training,通过大规模无监督预料训练获得的模型,可以获取文本动态字符级语义embedding,简单地可以视为加强版的字符级word2vec。实际上由于bert预训练阶段在Masked LM之外的另一个pre-training任务就是Next Sentence Prediction,即成对句子构成的句子级问题,所以用BERT做文本匹配是有天然优势的。
第二个阶段叫做:Fine-tuning,利用预训练好的语言模型,完成具体的NLP下游任务,NLP下游任务下游任务多种多样,NLP在多种任务中当时都取得了SOTA的效果,其中之一就是文本匹配任务,只需要直接输入分割好的句子对就