【论文阅读】Out-of-Town Recommendation with Travel Intention Modeling-CSDN博客

本文链接：https://blog.csdn.net/qq_45721997/article/details/123623717

[1] Xin H , Lu X , Xu T , et al. Out-of-Town Recommendation with Travel Intention Modeling[J]. 2021.

这篇之前我好像看过,这次做好详细的笔记吧、

0.Abstract

本文中，我们提出了一个基于出行意愿的出行推荐框架【原文：a Travel- Intention-aware Out-of-town Recommendation framework】TRAINOR。所提出的TRAINOR框架与现有的外地推荐系统【out-of-town recommenders】有三个方面的区别。

首先，利用图神经网络描述用户的本地签到偏好和外地签到行为中的地理约束;
其次，将用户出行意愿构建为家乡偏好和一般出行意愿的聚合，其中一般出行意愿是可通过神经主题模型(Neural Topic Model, NTM)学习的固有出行意愿的混合;
第三，利用非线性映射函数和矩阵分解方法，分别传递用户的家乡偏好和估计离乡POI的表示。此外，学习后的旅行意图可以为理解用户的旅行目的提供有意义的解释。

First, graph neural networks are explored to represent users’ home-town check-in preference and geographical constraints in out-of-town check-in behaviors.
Second, a user-specific travel intention is formulated as an aggregation combining home-town preference and generic travel intention together, where the generic travel intention is regarded as a mixture of inherent intentions that can be learned by Neural Topic Model (NTM).
Third, a non-linear mapping function, as well as a matrix factorization method, are employed to transfer users’ home-town preference and estimate out-of-town POI’s representation, respectively. Moreover, the learned travel intention can deliver meaningful explanations for understanding a user’s travel purposes.

英语词语：
user-specific 特定于用户的
aggregation 聚合
generic 通用的
respectively 分别
explored 探索
factorization 分解

1.Introduction

Point-of-Interest = POI
最近，由于POI签到数据（POI check-in data）随着时间的推移迅速积累，一个更精细的推荐问题，即外地（out-of-town）推荐，开始受到关注。具体来说，out- town推荐是为那些从家乡地区到他们以前很少去过的地方的用户设计的。

To be specific, out-of-town recommendations are designed for those users who travel from their home-town areas to out-of-town areas they have seldom been to before.

传统的不足

外地签到数据不足，所以 out-of-town 有冷启动问题。传统的POI推荐系统对out-of-town没办法，原因有以下：
1.个人的家乡偏好不能直接用在out-of-town推荐上，因为家乡偏好和离乡行为之间的差异（gap），
2.旅行意图影响了 out-of-town的打卡行为，这是经常在这些POI RSs里被忽略的。

然后说了一下以前的文献没有将用户的偏好、兴趣转移和复杂的旅行意图整合为一个整体。

我们的工作

具体来说，我们首先设计了一个基于门控图神经网络( Gated Graph Neural Network，G-GNN)的用户偏好表示模块，以探索被编码在用户家乡签到（check-ins）的底层结构信息。
用户的家乡偏好经注意网络聚合后，通过非线性映射函数，即多层感知器(multilayer perceptron, MLP)，进一步转化为外地偏好。
这样，从家乡到外地的兴趣漂移就可以被直接捕捉到。
此外，我们设计了一个基于神经网络主题模型**(NTM)**的旅游意向发现模块，并在此基础上对用户的旅游意向进行了聚合。

特别地，我们假设每个外地签到活动都可以从一个潜在的主题混合中提取，该混合可以通过高斯Softmax构造进一步生成，然后我们采用变分推理来揭示用户的一般出行意愿，而无需额外的监督。

此外，上述用户的家乡偏好被整合到公开的一般旅行意愿中，通过另一个注意网络产生用户特定的旅行意愿。此外，我们利用矩阵分解(MF)方法来表示用户的外地偏好，并通过考虑外地（out-of-town）POIs之间的地理邻近性来丰富这种外地偏好。最后，采用端到端的联合学习方法生成训练后的推荐器。
【 we assume that each out-of-town check-in activity can be drawn from a latent topic mixture which can be further generated by Gaussian Softmax construction, then we adopt variational inference to uncover users’ generic travel intention without extra supervision. 】

我们的贡献

综上所述，我们的主要贡献如下:
1.本文通过对用户复杂出行意愿的建模，研究了用户的异地推荐问题。
2.我们设计了一个TRAINOR框架，能够全面捕捉用户的家乡偏好、用户从家乡到外地的兴趣变化、外地的地理影响和用户的出行意愿。
3.通过大量的实验，我们在定量和定性上证明了TRAINOR的有效性。

一句话概括

out- town推荐就是根据用户的打卡签到数据，捕捉了偏好、出行意愿等，来推荐地点。

英语词语：
tackle 解决
integrate 集成
aggregated 聚合
demonstrate 演示、示范

2.Problem Definition 问题定义

本节正式定义外地推荐问题。从定义几个概念开始。

Definition 1 (POI)

POI是与地理位置相关的空间项。我们用v来表示一个POI标识符
【 A POI is a spatial item related to a geographical location. We use v to represent a POI identifier】

Definition 2 (Check-in)

用户的签入活动c由三元组(u, t, v)表示，表示用户u在时间t访问POI v。
【A user’s check-in activity c is represented by a three-tuple (u, t, v) which indicates that a user u visits POI v at timestamp t.】

Definition 3 (User Home-Town)

给定一个用户u，我们用区域 r˜_u表示该用户居住了一段时间(比如6个月)的家乡。
【 Given a user u, we denote a region r˜_u as the user’s home-town where the user lives in for a period of time, say, 6 months.】

Definition 4 (Travel Behavior)

给一个用户u,他/ 她旅游行为是由5元组τ= (u， $\overrightarrow{c_{h} }$ ， $\overrightarrow{c_{o} }$ ， $\widetilde{r_{u}}$ , $r_{o}$ )代表。
这表明用户u旅行，从他家乡 $\widetilde{r_{u}}$ ，到外地 $r_{o}$ ，和从家乡和外地的离开打卡记录,分别由 $\overrightarrow{c_{h} }$ 和 $\overrightarrow{c_{o} }$ 代表。

【Given a user u, his/er travel behavior is represented by a five-tuple τ = (u， $\overrightarrow{c_{h} }$ ， $\overrightarrow{c_{o} }$ ， $\widetilde{r_{u}}$ , r_o) which indicates that the user u travels from his/er home-town $\widetilde{r_{u}}$ to out-of-town $r_{o}$ and leaves check-in records in both home-town and out-of-town, which are represented by $\overrightarrow{c_{h} }$ and $\overrightarrow{c_{o} }$ , respectively.】

问题

当一个用户u从他家乡 $\widetilde{r_{u}}$ 旅行到外地 $r_{o}$ 时，我们将u视为外地（out-of-town）用户，致力于推荐一个位于 $r_{o}$ 的用户u 可能感兴趣的POIs列表。
【we take u as an out-of-town user and aim to recommend a list of POIs located at $r_{o}$ that u may be interested in.】

Problem 1 (Out-of-town Recommendation)

给定一组用户U，
这些用户居住在 $\widetilde{r}$ ,
一个目标地区 $r_{o}$ ,
一组外地POIs $V^{o}$ 在 $r_{o}$
由U生成的旅游行为记录 $\Sigma$
当从 $\widetilde{r}$ 到 $r_{o}$ 旅行时,通过 $\Sigma$ 和 $V^{o}$ 学习函数F(·)。
然后，向新到来的用户 $u^{*}\notin U$ 推荐一系列pois $V^{o*}\subset V^{o}$ ，根据在 $\widetilde{r}: \left \{ \overrightarrow{c_{h}^{*}} , V^{o} \right \} \overset{F}\to V^{o*}$ 观察到的 $\overrightarrow{c_{h}^{*} }$ 。

【Problem 1 given a set of users U who live in $\widetilde{r}$ , a target region $r_{o}$ , a set of out-of-town POIs $V^{o}$ in $r_{o}$ , and the travel behavior records $\Sigma$ generated by U when traveling from $\widetilde{r}$ to $r_{o}$ , learn a function F(·) by exploring $\Sigma$ and $V^{o}$ . Then, recommend a list of POIs $V^{o*}\subset V^{o}$ to a new coming user $u^{*}\notin U$ given his/er home-town check-ins $\overrightarrow{c_{h}^{*} }$ observed in
$\widetilde{r}: \left \{ \overrightarrow{c_{h}^{*}} , V^{o} \right \} \overset{F}\to V^{o*}$

！！！打latex真的让人头疼！！绝了
下次直接截图！！

笔记总结（方便看）

在这里插入图片描述

3.The Proposed Approach

3.1Framework Overview

图1展示了TRAINOR框架，框架由五个部分组成。
3.1是总览
3.2-3.7是分步骤的详细说明
在这里插入图片描述

（1）Home-town preference modeling

家乡偏好模型将用户的家乡签到(hometown check-ins)作为输入，并分配一个d维嵌入给每个访问过的目的地（visited POIs）。然后采用G-GNN模型和注意网络对用户的家乡偏好进行编码和聚合。

（2）Travel intention discovery

旅行意向（ Travel intention）发现将用户在外地访问过的目的地（visited POIs in out-of-town）作为输入，然后NTM模型将这些输入用于发现一般的旅行意向（the generic travel intention）。然后，采用另一个注意网络总结用户特定的意图，通过将发现的意图和用户的家乡偏好相结合。

（3）Out-of-town preference modeling

外地偏好建模为每个用户和外地POI分配另一个二维嵌入，并利用MF学习用户和POI的潜在表示。此外，为了模拟POIs的地理影响，研究了GeoConv来处理与POIs捆绑的地理信息。
【Moreover, to model the geographical influence of POIs, a GeoConv is explored to process the geo-information bundled with POIs.】

（4）Preference transfer

偏好转移接收到家乡偏好的嵌入（home-town preference
embedding），并通过MLP捕获了家乡到外地的非线性关系。

（5）Model learner

模型学习者共同最小化意图推理损失、偏好估计损失和偏好转移损失，输出训练后的推荐器F。

【Model learner jointly minimizes the intention inference loss, preference estimation loss, and preference transfer loss to output the trained recommender F.】

3.2Home-town Preference Modeling

为了对用户的家乡偏好进行编码，我们用G-GNN模型表示结构信息(Wu et al. 2019;Li et al. 2015)。

给一个用户u，和他的家乡签到 $\overrightarrow{c_{h}}$ ，我们首先建立一个有向图（directed graph ） $G_{\overrightarrow{c_{h}}}=\left ( V_{\overrightarrow{c}} , \varepsilon_{\overrightarrow{c}} \right )$ ， $V_{\overrightarrow{c}}$ 表示家乡签到的集合，然后每对相邻的签到由 $\left ( v_{i-1}^{h} , v_{i}^{h}\right ) \in \varepsilon_{\overrightarrow{c}}\left ( v_{i}^{h}\in \overrightarrow{c_{h}} \right )$ 表示。

在这里插入图片描述

然后说，家乡签到 $\overrightarrow{c_{h}}$ 中可能有重复的空间项，我们归一化了所有在图 $G_{\overrightarrow{c_{h}}}$ 中边的权重。接着构建了一个相邻矩阵 $A_{\overrightarrow{c_{h}}}$ ，参考图2，矩阵 $A_{\overrightarrow{c_{h}}}\in R^{D_{1}*2D_{1} }$ （ $D_{1}=\left | V_{\overrightarrow{c}} \right |$ ）决定了空间项如何通过check-ins完成互相通信。
接着，我们给图中的每个顶点 $v_{i}^{h}$ 分配一个d维嵌入v_i^h，然后提供相应的嵌入V^h=(v₁^h,v₂^h,v_D1^h)到G-GNN中，对于每一个v属于 $V_{\overrightarrow{c}}$ ，网络传播如下图：

在这里插入图片描述
A_v是关于v在Aout和Ain中的两列
公式1是在不同POIs之间信息的传递（在图上）
公式2-5是类似GRU的更新步骤
最后更新的是V^h’=[v₁^h’,v₂^h’,v_D1^h’]

注意力网络如公式6：
在这里插入图片描述

3.2 笔记总结（看这个对照原文就ok)

在这里插入图片描述

3.3Travel Intention Discovery

我们开发了一个神经主题模型(NTM)，在没有额外监督的情况下揭示固有的旅行意图。
we develop a Neural Topic Model (NTM) to uncover the inherent travel intentions without extra supervision.

3.3.1Uncovering Generic Travel Intentions.

假设每次外地签到都是由一个潜在的主题混合Θ∈R^K生成的，可以将其视为用户的一般出行意愿混合，其中K为一般意愿的数量。
然后，∀i(1≤i≤K)，我们采用嵌入的t_i∈R^d表示第i个出行意图。
之后，给定外地POI嵌入矩阵E∈ $R^{|V^{o}|×d}$ ，可确定外地POI上的第i个一般外地出行意愿分布，记为Φi:
在这里插入图片描述
Φi∈ $R^{|V^{o}|}$
然后我们将整个外地意向POI 分布表示为Φ = (Φ₁， Φ₂，…Φ_K )^T。

假设分布Θ可以通过高斯Softmax生成。设 $\widetilde{c_{o}}$ ∈ $R^{|V^{o}|}$ 为词袋向量表示用户的外地签到，则 $\widetilde{c_{o}}$ 的生成可进行如下:

1.从标准高斯分布中画出一个潜在变量z: z ~ N (0, I)。
2.生成外地意图分布Θ: Θ = softmax (F_Θ (z))，其中F_Θ是一个全连接层。
3.第i个POI在 $\widetilde{c_{o}}$ ，画一个POI v_i∼Φ^T_Θ。

由上可知，p(z) = N (0, I)，为了使z具有可追踪性（traceable），引入了如下的后验变分分布:
在这里插入图片描述
其中，µ、σ2是由输入词袋向量确定的两个先验参数:
其中F_µ，F_σ是两个多层感知器(MLP)， F_enc是一个编码器层，它接受从外地签到中提取的词袋输入。

正如神经变分推理（neural variational inference）所指示的那样，我们希望最大化变分下界。因此，意图推理损失的定义如下:
在这里插入图片描述 DKL是Kullback-Leibler散度。
通过优化上述损失，可以在没有额外监督的情况下发现一般的旅行意图。

3.3.2Summarizing User-Specific Travel Intention.

设计了一个注意力网络来探究用户的动态出行意愿，可以根据用户的家乡偏好来探究意图信息。

具体而言，在通用外地意向T = (t₁, t₂, . . . , t_K)^T
被NTM捕捉后，我们将注意力网络实现如下:
Specifically, after the generic out-of-town intention T = (t₁, t₂, . . . , t_K)^T being acquired with NTM, we implement the attention network as follows:

在这里插入图片描述
其中W_t∈R^d×d是一个可训练的转移矩阵。通过拟合用户偏好，可以自适应聚合用户特定意向u^(int)。

3.4 Out-of-town Preference Modeling

外地POIs的地理影响有助于理解用户的外地签到(check in)行为。另一方面，有了旅行记录T，我们可以通过利用POI和用户之间的交互进一步丰富外地(out of town)POI的表示。

在这里插入图片描述 ……这一部分公式我就简单掠过。
简单说一下就是：
给每个 out-of-town POI一个向量嵌入vo，
基于POI之间的地理关系构建无向图，无向图之间的边定义为POI节点之间的距离，基于out-of-town POIs　之间的边界约束可以构建邻接矩阵A_geo.
然后使用了一个图神经网络：
在这里插入图片描述 V^o’ 是更新后的嵌入矩阵。
接着我们使用了 (MF)来探究用户和POIs的关系。
然后给每个留下外地签到的用户一个d维嵌入，叫u^o，然后汇总了偏好和旅行注意力之后更新这个嵌入。
根据MF的思想，用户在POIs上的得分，可以被认为是用户和POI嵌入的内部作用。

我们定义用户i对外地POI j的得分如下:
在这里插入图片描述
观察到的项目应该比未观察到的项目排名更高，对于每个用户u，我们随机选取固定大小的u访问过的正样本和u未检入的正样本。
损失函数是下面这个。

在这里插入图片描述

3.5 Preference Transfer

我们采用MLP作为非线性映射函数，将用户的本地偏好转换为外地签到行为。定义了偏好转移损失：
在这里插入图片描述

3.6 Joint Training and Recommendation

结合公式10、16、17，我们可以最小化以下复合损失函数，以端到端方式联合训练我们的模型:
λ1、λ2和λ3是三个超参数。
在这里插入图片描述
给定用户和他的家乡签到，通过训练好的偏好转移生成他的仿射外地用户偏好,
通过前面6、11，类似公式14，可以得到意图嵌入。

接着可以估计用户和poi之间的分数：
最后选取排名前k的POIs作为用户u的推荐。