关于句子embedding的一些工作简介（五）---- 从对话中学习

最新推荐文章于 2024-08-03 08:00:00 发布

triplemeng

最新推荐文章于 2024-08-03 08:00:00 发布

阅读量2.3k

点赞数 2

分类专栏： embedding 句子嵌入 conversation encoder 句子embedding 文章标签： encoder embedding conversation InferSent SNLI

本文链接：https://blog.csdn.net/triplemeng/article/details/81905480

版权

本文介绍了从对话中学习语义文本相似性的方法，通过Input-Response Prediction和Multitask Encoder任务，结合DAN与Transformer模型，利用Reddit数据和SNLI数据集进行训练。实验表明，这种方法在STS和CQA任务上表现优秀，多任务学习能够提供互补的语义信息。

摘要由CSDN通过智能技术生成

这是《简介》系列的最后一篇文章。原本我是想写一下Universal Sentence Encoder这篇文章，但是我觉得其实很多工作包括之前介绍的几篇文章都是在寻找”Universal Sentence Encoder”，没有理由起这么个名字。再者文章本身写得不够详细，相比之下，同样的作者所写的这篇Learning Semantic Textual Similarity from Conversations要更全面。论文

方法

Input-Response Prediction

论文基于这样的观察：在对话中，如果两个问句的回答是相似的，那么这两个问句的相似度就高。比如”How old are you” 和 “What is your age”的回答都是”I am 20 years old”。相反，问句“How are you”和“How old are you”的用词虽然很相似，但是回答不一致，那么它们的意义也不一样。

整个算法的任务就是从一堆候选句子中，找到给定问句正确的回答，如下图：
这里写图片描述
具体而言，作者利用conversational input-response model来预测正确的response，做法如下：