【论文理解】Graph Neural News Recommendation with Unsupervised Preference Disentanglement

本片论文是2020中国入选ACL的论文之一，是北邮计算机学院图数据挖掘和机器学习实验室的石川老师等和微软亚洲研究院合作完成的项目，我简单拜读了一下，写一点自己的浅薄理解，如有不对还请指出！

1. 基本要素

新闻推荐核心：如何更好的了解用户和新闻的表征。

consider high- order connectivity underlying the user-news interactions：一般的方法通常关注新闻内容，很少考虑用户新闻交互的高阶连通性形式。

model the user- news interactions as a bipartite graph：将用户新闻交换信息转换成二分部图G = { U, D, E }，U表示用户集合，D表示新闻集合，E表示边的集合。

GNUD：具有无监督偏好分离的图神经新闻推荐。考虑用户-新闻交互图下的高阶结构信息。

neighborhood routing：the learned representations are disentangled with different latent preference factors （通过一种邻域路由机制，将不同的潜在偏好因子分解为已学习的表示法）考虑不同的潜在因素

preference regularizer：设计了一个偏好正则化器来强化每个解纠缠子空间独立地反映一个孤立的偏好

2. The high-order relationship：u1-d1-u2

• 用户新闻交互图，u1和u2之间的有相似性，所以u1点击d3之后可以给u2推荐d3
• 在图聚合邻域信息中，应考虑不同潜在偏好因素下邻域的不同重要性。GNUD模型充分考虑high-order connectivities和latent factors

3. The related work

• 新闻推荐：News recommendation seldom mine highorder structure information.一般作品很少挖掘高阶结构信息
• 图神经网络：Graph neural networks. Existing news recommendation methods focus on, and rely heavily on news contents.
• 解构表征学习：Disentangled representation learning identify and disentangle different latent explanatory factors hidden in the observed data.

GNUD：目的在于预测用户是否会点击他之前没有看过的新闻

提取features：从标题T和大致内容P（a given set of entities E and their corresponding entity types C from the news content）获取news representation hd，然后把这个获取的表征作为基本输入数据

领域路由算法：

1. 用户u由于因素k而点击新闻d的概率rd, k，consider the latent preference factors
2. 通过比较用户u与其点击新闻d在第k个子空间下的相似性，可以得到潜在变量{rd,k: 1≤k≤K， (u, d)∈E}

Preference Regularizer：

1. 最大化信息论中两个随机变量之间的互信息度量依赖关系，加强偏好因素与解纠缠嵌入之间的关系。
2. P(k | zu,k) estimates the probability of the k-th subspace (w.r.t. the k-th preference) that zu belongs to.

4. Train model && Experiment

• 在图中，没有用户读的新闻作为孤立点呈现

• 选取1周和10周的新闻数据，移除停用词

  前5天数据用于构造用户-新闻二分部图，第6天数据用于训练，最后一天随机选取20%数据作为验证，剩余80%作为测试

  根据平均数量：a fixed-size set of neighbors (size = 10) for a user, and set size = 30 for a news

• 子空间划分

  • different subspaces reflect different preference factors

  • d1 && d2 ：“energy”

  • d4：“healthy diet”

  • d3：“home”
    

• 参数设置

  • 词语嵌入维度以及实体类型嵌入维度：50
  • 用户和新闻嵌入维度为128
  • 潜在偏好因素数为7，每个解纠缠子空间维度是16
  • 卷积层数定为2（如果使用一层可以只能考虑了一阶邻居关系，如果使用超过两层可能导致过拟合）
    

• Comparison of GNUD variants

1. 通过和以前提出模型比较之后发现GNUD模型学习的AUC和F1值都优于其他值
2. GNUD without preference disentanglement：在两个数据集中AUC分别大幅下降5.68%和4.97%，说明preference disentangled representations of users and news的重要性
3. GNUD without preference regularizer：以上数据也有下降，说明preference regularizer重要性