论文《Neural News Recommendation with Attentive Multi-View Learning》阅读

论文概况

今天带来的论文是发表于 IJCAI 2019 的新闻推荐作品《Neural News Recommendation with Attentive Multi-View Learning》，论文聚焦于对新闻的标题、内容、分类等文字特征进行提取和交叉影响的建模，完成对最终新闻点击结果的预测。

文章提出模型 NAML，成为新闻推荐领域引用较多的作品之一。

Introduction

模型通过文字feature进行建模，遵照模型结构图可以看到，分为三部分，news encoder模块，user encoder模块以及预测模块。

News Encoder Module

news encoder用于提取每个新闻的交叉特征。

news encoder模块又分为四部分，category encoder，title encoder， body encoder以及注意力融合模块。

title encoder

对于news title，首先是 Embedding 层，新闻 title 包含 $M$ 个单词，表示为 $[w_1^t,w_2^t,\cdots ,w_M^t]$， 通过check-up table ${\mathbf{W}}_e\in {\mathbb{R}}^{V\times D}$ （$V$ 表示所有语料的单词数量， $D$ 表示单词向量维度），将每个单词映射成词向量 $[{\mathbf{e}}_1^t,{\mathbf{e}}_2^t,\cdots ,{\mathbf{e}}_M^t]$ ，任意单词 $w_m^t$ 对应向量为 $D$维，即 ${\mathbf{e}}_m^t\in {\mathbb{R}}^D$ 。

然后是 Convoluton 层，通过CNN完成，窗口大小为 $2K+1$ ，卷积核是 ${\mathbf{F}}_t\in {\mathbb{R}}^{N_f\times (2K+1)D}$ ， ${\mathbf{b}}_t\in {\mathbb{R}}^{N_f}$ 表示偏置向量，对应映射维度为 $N_f$。具体如下所示：

$${\mathbf{c}}_i^t=\mathrm{ReLU}\left({\mathbf{F}}_t\times {\mathbf{e}}_{(i-K):(i+K)}^t+{\mathbf{b}}_t\right).\text{\hspace{1em}(1)}$$

针对title中的每个单词，最终得到所有的单词向量，即 $[{\mathbf{c}}_1^t,{\mathbf{c}}_2^t,\cdots ,{\mathbf{c}}_M^t]$

再然后是 Word-level Attention 层， 获取每个单词的注意力，并进行加权求和表示，具体如下：

$$a_i^t={\mathbf{q}}_t^{\top }\tanh \left({\mathbf{V}}_t\times {\mathbf{c}}_i^t+{\mathbf{v}}_t\right),\text{\hspace{1em}(2)}$$

$${\alpha }_i^t=\frac{\exp \left(a_i^t\right)}{{\sum }_{j=1}^M\exp \left(a_j^t\right)},\text{\hspace{1em}(3)}$$

$${\mathbf{r}}^t=\sum _{j=1}^M{\alpha }_j^t{\mathbf{c}}_j^t.\text{\hspace{1em}(4)}$$

其中， ${\mathbf{V}}_t,{\mathbf{v}}_t,{\mathbf{q}}_t$ 分别表示映射矩阵，偏置向量以及attention query 向量。

body encoder

同理，针对新闻主体内容（news body），同样使用上述方法。这里简要介绍符号。

对于news body，新闻 body 包含 $P$ 个单词，表示为 $[w_1^b,w_2^b,\cdots ,w_P^b]$， 通过check-up table ${\mathbf{W}}_e\in {\mathbb{R}}^{V\times D}$ （$V$ 表示所有语料的单词数量， $D$ 表示单词向量维度），将每个单词映射成词向量 $[{\mathbf{e}}_1^b,{\mathbf{e}}_2^b,\cdots ,{\mathbf{e}}_P^b]$ 。

卷积之后通过注意力层及加权求和得到最终的body向量 ${\mathbf{r}}^b$ ，具体如下：

$$a_i^b={\mathbf{q}}_b^{\top }\tanh \left({\mathbf{V}}_b\times {\mathbf{c}}_i^b+{\mathbf{v}}_b\right),\text{\hspace{1em}(5)}$$

$$\begin{array}{rl}{\alpha }_i^b& =\frac{\exp \left(a_i^b\right)}{{\sum }_{j=1}^P\exp \left(a_j^b\right)},\\ {\mathbf{r}}^b& =\sum _{j=1}^P{\alpha }_j^b{\mathbf{c}}_j^b.\end{array}\text{\hspace{1em}(6)}$$

category encoder

分类分为主分类（topic categories）和子分类（subcategories），分别通过 $c$ 和 $sc$ 进行表示。

映射层将分类信息从one-hot 分类向量转化为 ${\mathbf{e}}^c$ 和 ${\mathbf{e}}^{sc}$ 。通过一个单层MLP单元得到对应分类和子分类的向量表示 ${\mathbf{r}}^c$ 和 ${\mathbf{r}}^{sc}$ 。具体如下：

$${\mathbf{r}}^c=\mathrm{ReLU}\left({\mathbf{V}}_c\times {\mathbf{e}}^c+{\mathbf{v}}_c\right).\text{\hspace{1em}(7)}$$

$${\mathbf{r}}^{sc}=\mathrm{ReLU}\left({\mathbf{V}}_s\times {\mathbf{e}}^{sc}+{\mathbf{v}}_s\right).\text{\hspace{1em}(8)}$$

attentive pooling

通过一层 单层的MLP 以及 一个共同的询问向量 ${\mathbf{q}}_v$ 完成，对 title 的注意力 ${\alpha }_t$ 计算具体如下，其余类似，分别得到 ${\alpha }_t,{\alpha }_b,{\alpha }_c,{\alpha }_{sc}$ 。

$$a_t={\mathbf{q}}_v^{\top }\tanh \left({\mathbf{U}}_v\times {\mathbf{r}}^t+{\mathbf{u}}_v\right),\text{\hspace{1em}(9)}$$

$${\alpha }_t=\frac{\exp \left(a_t\right)}{\exp \left(a_t\right)+\exp \left(a_b\right)+\exp \left(a_c\right)+\exp \left(a_{sc}\right)}.\text{\hspace{1em}(10)}$$

通过加权求和得到最终的新闻向量表示 $\mathbf{r}$ 。

$$\mathbf{r}={\alpha }_c{\mathbf{r}}^c+{\alpha }_{sc}{\mathbf{r}}^{sc}+{\alpha }_t{\mathbf{r}}^t+{\alpha }_b{\mathbf{r}}^b,\text{\hspace{1em}(11)}$$

User Encoder

一个用户的交互历史是由多个新闻组成的，通过对多个新闻计算注意力及加权组成最后的用户表示，就可以完成用户模块的建模，具体如下：

$$a_i^n={\mathbf{q}}_n^{\top }\tanh \left({\mathbf{W}}_n\times {\mathbf{r}}_i+{\mathbf{b}}_n\right),\text{\hspace{1em}(12)}$$

$${\alpha }_i^n=\frac{\exp \left(a_i^n\right)}{{\sum }_{j=1}^N\exp \left(a_j^n\right)},\text{\hspace{1em}(13)}$$

$$\mathbf{u}=\sum _{i=1}^N{\alpha }_i^n{\mathbf{r}}_i.\text{\hspace{1em}(14)}$$

预测层

$$\hat{y}={\mathbf{u}}^{\top }\mathbf{r}.\text{\hspace{1em}(15)}$$

通过 $K$ 个负例（randomly sampled）及数据集中的正例组成一个 $K+1$ - 路 二分类 数据元组，采用 softmax 进行预测唯一正例，如下：
$$p_i=\frac{\exp \left({\hat{y}}_i^{+}\right)}{\exp \left({\hat{y}}_i^{+}\right)+{\sum }_{j=1}^K\exp \left({\hat{y}}_{i,j}^{-}\right)},\text{\hspace{1em}(16)}$$

$$\mathcal{L}=-\sum _{i\in \mathcal{S}}\log \left(p_i\right).\text{\hspace{1em}(17)}$$

论文总结

本文通过结合注意力机制处理tile、body、category 三类 文本信息完成了新闻推荐，是引用较多的 fundation 类作品。