简述
概括来讲,就是把DSSM(见用于相关性计算的深度语义模型) 中的全连接层换成了CNN+Max Pooling,变成了CDSSM
文章全名:A Latent Semantic Model with Convolutional-Pooling Structure for Information Retrieval
网络结构
缺图
与DSSM一样,一个单词映射成ngram序列,不同的是,DSSM通过几层全连接,直接生成向量,而CDSSM通过卷积层+Max-pooling,再经过一层全连接,生成最终的向量。
其他细节
序列对应关系
需要特别注意的是,卷积后的向量是300维,这300维向量分别进行Pooling,就是说,每一个维度可能来自不同时刻的输入,通过pooling对应的时刻,可以观察到Query-Document的序列映射关系,下面是一个示例
缺图
可以看到在第102、280、84、258、192唯,Query与Document各自对应的单词/短语,这里与翻译模型中的alignment有异曲同功之处。
不同类型序列,相互独立网络
在DSSM原作中,Query与Document生成向量使用的共享网络,但文章中分别用不同的网络来生成这两类向量,后者效果更好