论文笔记《Learning deep structured semantic models for web search using clickthrough data》

链接：Learning deep structured semantic models for web search using clickthrough data

一、原理：

使用DNN将序列和文本融合到共同的低维空间，并使用余弦相似度计算两者的距离；

为了处理常见任务中的大规模语料，采用了word hashing

二、模型架构

$X$为输入层，$Y$为输出层，$l1,l2,l3$为隐藏层

​ $l1=W_{1}X$

​ $l_i=f(W_i{l}_{i-1}+b_i),i=2,...,N-1$

​ $y=f(W_N{l}_{N-1}+b_N)$

激活函数$tanh$， $f(x)=\frac{1-e^{-2x}}{1+e^{-2x}}$，放置在输出层和隐藏层$l_i,i=2,...,N-1$

余弦相似度计算：$R(Q,D)=cosine(y_Q,y_D)=\frac{y_Q^T{y}_D}{||y_Q||||y_D||}$

1. word hashing

目的：减少词袋模型 词向量的维度，基于字母$n-gram$

示例: #good# 当n=3, 可得到 #go, goo, ood, od#

与one-hot相比，word hashing可以用更低维度的向量去表示文本

2. DSSM模型训练

通过softmax 函数可以把query 与样本 doc 的语义相似性转化为一个后验概率

其中 是一个softmax函数的平滑因子，
，$D$表示被排序的候选文档集。

理想状态下， $D$应该包含所有可能的文档；

在实际中，每一个$(query,clicked-document)$对，用$(Q,D^{+})$表示，其中Q表示序列， $D^{+}$是被点击的文档；

假设$D$包含$D^{+}$和4个随机挑选的未被点击过的文档（使用{$D_j^{-};j=1,...,4$}表示）

最小化损失函数：

其中 表示神经网络的参数$w_i,b_i$的集合

3.模型细节

$l1$: word hashing(trigrams), 30k nodes，

$l2$和$l3$: 300 hidden nodes

$Y$: 128 nodes

word hashing 基于一个固定的投影矩阵
similarity 基于128维度的输出层计算

权重初始化：uniform distribution

​ range：$[-\sqrt{6/fanin+fanout},\sqrt{6/fanin+fanout}]$

​ $fainin是输入层的单元数，fanout是输出层的单元数$

优化器：SGD

min-batch = 1024

train epoches = 20

模型实现

https://github.com/Fanynwork/NLPmodels
结果没有使用cos计算，换成了分类器，文本匹配可以当作是一个二分类问题。
有过拟合情况，添加了norm和dropout层，但效果不太好
正确率在68%-69%之间，没有使用预训练词向量。