Employing Personal Word Embeddings for Personalized Search

论文链接

Idea

自然语言中有许多二次单词，例如“Apple"，不同知识背景和兴趣爱好的人对于这些单词会有不同的理解，所以对于不同的用户，这种歧义单词应该有不同的语义表达！
和之前常见的基于用户profile的个性化搜索所不同的是，这里直接在w2c的过程中就根据用户兴趣做了个性化，整个模型都是围绕这个思想展开。

模型整体结构

1. 个性化嵌入层。包括每一个用户的嵌入矩阵（embedding matrices），用来获得单词级别的向量表达。
2. 计算query和document的语境表达层。利用muti-head attention 和 self-attention层来融合语境信息，获得query和document的表达。
3. 使用KNRM组件来计算query和document的相似性。
4. 最后包含两个任务，一个是个性化文档排序（老生常谈），另一个是query reformulation，这一步的作用是更好的预测用户提出当前query的意图。从而端到端的训练个性化单词嵌入和排序模型。

考虑到人们会搜索一些从来没搜过的东西，当这些单词没有在某个用户的语料库里出现的时候，也要能很好的表达，于是作者还维护了一个全局的嵌入矩阵，该矩阵利用整体的搜索记录词汇表训练。
作者将构建的模型称作PEPS（Personal
Embedding based Personalized Search model)）

同时还有一个问题：训练嵌入矩阵需要比较大的语料库，然而每个用户的数据都很少，如何比较好的初始化每个用户的嵌入矩阵呢？作者提供了两种方法：

1.使用全局的w2c model
2.利用兴趣相似的一批用户记录来训练嵌入矩阵
之后线上实时捕捉用户新产生的数据，来提取用户的新兴趣。使得对于每个用户来说，那些重要单词的表达只包含当前用户感兴趣的信息，从而更好地推断用户的意图。

模型详细内容

符号

$u_1,u_2,...,u_i$表示各个用户，每个用户在$T$时刻都有自己的历史记录$H_i^T$，$H_i^T$包含用户$u_i$在$T$时刻以前提出的一系列queries { q i , 1 , q i , 2 , . . , q i , N i T } \{q_{i,1},q_{i,2},..,q_{i,N_i^T} \} {qi,1​,qi,2​,..,qi,NiT​​}、在每一个query$q_{i,j}$下点击的文档集$D_{i,j}^{+}$和未点击的文档集$D_{i,j}^{-}$。 D = { d 1 , d 2 , . . . , } D=\{d_1,d_2,...,\} D={d1​,d2​,...,}表示非个性化的搜索引擎对于一个query $q$返回的候选文档集。
训练过程包括以下三个：

1. 个性化单词嵌入的预训练阶段（Pre-training）
2. 模型的有监督训练阶段
3. 线上更新阶段(Update)

Pre-training

我们之前提到了两个方法来解决单个用户语料库不够同时还要保证嵌入矩阵包含用户兴趣的问题，现在详细说一下：
第一个是在利用整个搜索记录来训练一个gloable w2c模型，使用这个模型初始化每个用户的个性化嵌入模型以及全局模型。
第二种是考虑了用户兴趣，通过这个用户以及和他兴趣相似的K个用户的查询记录来把全局的w2c模型适应到为当前用户的个性化模型。兴趣相似的用户是通过协同过滤算法查找的。作者建立了用户相似矩阵$W$，$u_i和u_j$的相似度用$W_{ij}$表示。
$$W_{ij}=\frac{{\sum }_{d\in N(u_i)\cap N(u_j)}\frac{1}{log(1+|N(d)|)}}{\sqrt{|N(u_i)||N(u_j)|}}$$
其中，$N(u)$表示u点击过的文档集，$N_d$表示点击文档$d$的用户的集合。这样当点击文档d的人数少时，说明这个文档更小众，更能代表二人有共同兴趣，对$W_{ij}$的贡献更大，反之更小。

个性化模型（Personalization Model）

这一部分的目的是微调个性化单词嵌入，使得每个个性单词向量都能包用户的真实兴趣。

经过了预训练的阶段后，对每个用户可以粗略的而非精细的获得个性化单词向量，因为W2C模型是一个无监督的模型，可以捕捉同现或语义关系，但是不能学习用户的兴趣。

这一过程利用的是用户的点击信息。

Figure1是整个模型的框架，包含四个部分：

1. 个性化单词嵌入层，包括一个全局单词嵌入矩阵和每个用户都有的个性化单词嵌入矩阵。
2. query和document从不同粒度获得的表达。
3. 使用KNRM来计算query和document之间的匹配值，并且使用面向文档对的LambdaRank模型来训练排序模型。
4. query reformulation子模型来促进个性化嵌入的学习，这一步的作用是更好的预测用户提出当前query的意图。

个性单词嵌入层

每个单词的表示都包含两部分，例如单词“Apple”对于用户$u_i$的表示是“Apple+$u_i$”。

在finetune之前，要为每个用户确定独特的词汇表。筛选原则如下：

1. 不是停顿词的单词
2. 在用户的搜索记录里出现次数超过$c$次的
3. 单词熵不低于设定阈值的。
   单词熵计算如下：
   $$\begin{gathered} WordEntropy=\frac{{\sum }_{q\in Q(w)}ClickEntropy(q)}{|Q(w)|} \\ ClickEntropy(q)=\sum _{d\in D(q)}-P(d|q){\log }_{2}P(d|q) \end{gathered}$$
   $Q(w)$是所有包含单词$w$的queries的集合。$D(q)$是query $q$下点击的所有文档。$P(d|q)=\frac{|Clicks(q,d)|}{|Clicks(q,\cdot )}$

query和document的表示

query和document的组成有4部分：

1. 个性化单词表示。通过单词嵌入矩阵，获得$P^q\in R^{dim\times |q|}$的query单词矩阵和$P^d\in R^{dim\times |d|}$的文档单词矩阵。

2. 个性化语境表达。刚才获得的是单词level的query和document的表达，为了获得query level的表达来进一步阐述用户意图，要考虑进去上下文的交互。对于上一部分的输出添加了multi-head self-attention层，来获得两个矩阵$C{P}^q\in R^{dim\times |q|}andC{P}^q\in R^{dim\times |d|}$。计算如下：
   $$\begin{gathered} C{P}^q=Concat(hea{d}_1,hea{d}_2,...,hea{d}_h)W^A \\ hea{d}_i=softmax(\frac{P^q{W}_i^Q(P^q{W}_k^K{)}^T}{\sqrt{(}{d}_k)})(P^q{W}_i^V) \end{gathered}$$
   $d_k,d_q,d_v$表示attention机制里key,query,value的维度。
   同理可得$C{P}^d$

3. 全局单词表示
   $G^q\in R^{dim\times |q|}{G}^d\in R^{dim\times |d|}$是对query和document的两个嵌入矩阵

4. 全局语境表示
   对全局单词向量执行muti-head self-attention后获得了全局语境向量$C{G}^{q}C{G}^d$

通过这四个部分，可以获得query和document的不同粒度的表达。

query-document匹配和排序

在这里一部分利用KNRM来计算两者的相似得分
$S^P$表示单词相似矩阵，$S_{ij}^P$是query单词$w_i^q$和document单词$w_j^d$的迁入后的余弦相似度。之后用多个RBF核作用在$S^P$上来提取多等级query和document之间的软标签特征。
ϕ ( S P ) = ∑ i = 1 ∣ q ∣ l o g ( K → ( S i P ) ) K → ( S i P ) = { K 1 ( S i P ) , K 2 ( S i P ) , . . , K k ( S i P ) } K k ( S i P ) = ∑ j exp ⁡ ( − ( S i j P − μ k ) 2 2 σ k 2 ) \phi(S^P)=\sum_{i=1}^{|q|}log(\overrightarrow{K}(S^P_i))\\ \overrightarrow{K}(S_i^P) = \{K_1(S_i^P),K_2(S_i^P),..,K_k(S_i^P)\}\\ K_k(S_i^P)=\sum\limits_j \exp(-\frac{(S^P_{ij}-\mu_k)^2}{2\sigma_k^2}) ϕ(SP)=i=1∑∣q∣​log(K (SiP​))K (SiP​)={K1​(SiP​),K2​(SiP​),..,Kk​(SiP​)}Kk​(SiP​)=j∑​exp(−2σk2​(SijP​−μk​)2​)

$|q|$是query的长度。$K$是RBF核的数量。${\mu }_k、{\sigma }_k$是第k个核的均值和标准差。

之后使用MLP和tanh(·)做激活函数来把这些特征联合起来并计算匹配值$f^P(q,d)$。
$$f^P(q,d)=tanh(W_P^T\varphi (S^P)+b^P)$$

同理也可以把上述计算方法应用到其他的几个单词向量矩阵上。如此可以获得以下四个匹配值：
$f^P(q,d)f^G(q,d)f^{CP}(q,d)f^{CG}(q,d)$。
还有另外两个score:计算query在reformulation模型里的隐层状态和用dense layer处理文档单词level矩阵后的表达之间的余弦匹配值获得的score$f^{QR}(q,d)$、把一些基于点击的特征和有利于排序的相似性特征送入tanh(·)为激活函数的MLP中计算得来的相似得分，论文没有命名，我们姑且称之为$f^{ft}$

之后又用了一层MLP来把这六个score融合起来获得了每个document的个性化得分。

使用LambdaRank算法来训练排序模型。

1. 构建文档对。被点击的作为正样本，被跳过的文档作为负样本。
2. 每一个文档对都有一个$\lambda$，表示的是当交换这两个文档的位置时，MAP这一指标的变化值。
3. loss值计算如下:
   $$loss=(-{\hat{p}}_{(i>j)}\log (p_{(i>j)})-{\hat{p}}_{}(i<j)\log (p_{(i<j)}))|{\lambda }_{ij}|$$
   $p_{(i>j)}=\sigma (score(d_i)-score(d_j))$
   $p_{(i>j)}$表示预测的$d_i$相关性大于$d_j$相关性的概率。${\hat{p}}_{(i>j)}$表示真实的$d_i$相关性大于$d_j$相关性的概率（0 or 1）。

Query Reformulation

这一步的目的就是希望能通过对RNN编码后的query representation再次解码，能够解出下一个query，从而使得编码能够更好地表示当前用户的意图。

所以作者添加了一个query reformulation的任务，和ranking model一起训练。

学习目标是同一个session里的下一个query，因为这一个query被看做是比当前的query更能表达用户的意图。输入是query的个性化单词表示$P^q$。使用GRU来编码。$h_t=GRU(P_t^q,h_{t-1})$。最后一个隐层$h_{|}q|$被看做是用户真实意图的表示。
带有attention机制的GRU用来解码。
$o_t$表示目标序列的每一个单词。$s_t$表示当前一次能状态。$c_t$表示语境向量。
p ( o t ∣ { o 1 , . . . , o t − 1 , h ∣ q ∣ } = s o f t m a x ( W [ s t , c t ] + b ) s t = G R U ( s t − 1 ， o t − 1 , c t ) c t = ∑ j = 1 ∣ q ∣ α t j h j α t j = exp ⁡ ( a ( s t − 1 ， h j ) ) ∑ k = 1 ∣ q ∣ exp ⁡ ( a ( s t − 1 , h k ) ) p(o_t|\{o_1,...,o_{t-1},h_|q|\} = softmax(W[s_t,c_t]+b)\\ s_t = GRU(s_{t-1}，o_{t-1},c_t)\\ c_t = \sum_{j=1}^{|q|}\alpha_{tj}h_j\\ \alpha_{tj} = \frac{\exp(a(s_{t-1}，h_j))}{\sum_{k=1}^{|q|}\exp(a(s_{t-1},h_k))} p(ot​∣{o1​,...,ot−1​,h∣​q∣}=softmax(W[st​,ct​]+b)st​=GRU(st−1​，ot−1​,ct​)ct​=j=1∑∣q∣​αtj​hj​αtj​=∑k=1∣q∣​exp(a(st−1​,hk​))exp(a(st−1​，hj​))​
函数$a(\cdot )$可以是一个点乘，或是可训练的MLP。目标序列的概率计算如下：
p ( o ) = ∏ t = 1 T p ( o t ∣ { o 1 , . . . , o t − 1 , h ∣ q ∣ } p(o) = \prod_{t=1}^Tp(o_t|\{o_1,...,o_{t-1},h_{|q|}\} p(o)=t=1∏T​p(ot​∣{o1​,...,ot−1​,h∣q∣​}

损失函数是目标序列预测概率的负log值。

整个模型的的优化目标是负log概率和文档对loss的和。