阅读笔记-基于用户搜索日志的商品标题压缩

原文链接

数据集

• S:淘宝女装所有商品标题，剔除标题长度小于10的，因为大多标题都小于10.

• T:达人平台改写后的标题

• Q:搜索query的选择：过去一个月内，有10次成交的商品的query

模型

第一个任务：生成输出

输入句子长度为$M$，输出句子长度为$N$，损失函数如下：
$$math\underset{y\in \mathcal{Y}}{\mathrm{argmax}}s(x,y)=\underset{m_i\in [1,M]}{\mathrm{argmax}}s\left(x,x_{\left[m_1,\cdots ,m_N\right]}\right)$$
其中，$s(x,y)$表示的是一次标题压缩的得分，$s(x,y)=log(y|x;\theta )$.所以目标函数可以被重新写成
$$math\log p(y|x;\theta )=\sum _{n=1}^N\log P\left(y_n|x,y_{<n};\theta \right)$$
即给定输入x，输出N个词，的概率最大、$\theta就是模型学习得到的参数。

考虑到RNN及LSTM的不足，引入了attention机制。与原来的注意力机制不同的是，这里我们不在将整个输入句子编码到固定长度的向量，而是在解码的每一次generation时，对部分输入做attention。所以上式被改写为:

$$mathP\left(y_n|x,y_{<n};\theta \right)=g\left(y_{n-1},s_n,c_n,\theta \right)$$
其中$g(·)$是一个非线性函数。$s_{n}$是第n个目标输出词的隐状态值，用下式来进行计算
$$math{s}_n=f\left(s_{n-1},y_{n-1},c_n,\theta \right)$$
其中$c_n$是$context$向量，计算方式如下
$$math{c}_n=\sum _{m=1}^{M}A(\theta {)}_{n,m}{h}_m$$

其中$A(\theta )$就是attention矩阵，$A(\theta {)}_{n,m}$表示的是输入句子的第$m$个词，对输出句子第$n$个词的贡献度，计算方式如下

$$A(\theta {)}_{n,m}=\frac{\exp \left(a\left(s_{n-1},h_m,\theta \right)\right)}{{\sum }_{m^{\prime }=1}^M\exp \left(a\left(s_{n-1},h_{m^{\prime }},\theta \right)\right)}$$

针对一个元素$a_n^m$，就是
$$math{a}_n^m=v^T\tanh \left(W_1{s}_{n-1}+W_2{h}_m\right)$$
其中$v$，$W_1$和$W_2$都是模型学到的参数。

Point network模型

传统的seq2seq模型不能用于标题压缩任务，因为输出是从输入中选出来的词组成的。使用Pointer Network的话，不会隐状态$h_m$混淆进去，而直接使用$a_n^m$作为输入的pointer

第二个任务是生成搜索query

可以看做是一个NMT的过程，将商家的语言映射到用户搜索的语音。
原始标题和用户搜索，对构建注意力矩阵很重要。

将两个任务合并

agreement-based learning。两个网络