Facebook的多任务多模态向量召回模型Que2Search

1. 概述

对于一个搜索系统来说，通常采用的召回都是基于倒排索引的召回，简单来说就是需要对item侧建立倒排索引，在检索的过程中，对query分词，根据分词结果去倒排索引中查找词匹配的item，简单的流程如下图所示：

在传统的检索过程中，通常存在语义上的问题，比如Query为“连衣裙”，此时根据词匹配就检索不到核心词为“长裙”的item，为了解决这样的问题，需要对Query进行扩展，将其扩展成相似的query，以此来实现语义匹配的问题。当然，词匹配的方式的一大优势就是相关性解决的比较好。为了能从算法上解决语义的gap，双塔的召回结构是现如今较多采用的一种方法。

双塔的召回有如下的一些优势：

• item侧可离线计算，线上可采用基于ANN的向量匹配方式较快的查找到向量空间与Query相匹配的item
• 基于模型的方法，可以融入更多的特征

双塔模型的第二点优势就可以方便的对模型的特征进行扩充，尤其现如今对多模态的研究，Que2Search[1]中就是提出使用多模态的方法来训练双塔模型，同时，在Que2Search的item塔中引入了分类的任务，与上面的双塔任务共同构成了多任务的训练方式。

2. Que2Search模型

2.1. Que2Search的模型结构

Que2Search的模型结构如下图所示：

左侧是一个Query侧的塔，右侧是item侧的塔。

2.2. Query塔

Query塔侧的模型的输入特征有三部分，分别为：

• Query文本的tri-gram。通过size=3的滑动窗口