Cross-domain recommendation via user interest alignment
基于用户兴趣的跨领域推荐
[WWW 2023]
摘要
跨领域推荐旨在利用来自多个领域的知识来缓解传统推荐系统中的数据稀疏性和冷启动问题。一种流行的范式是采用重叠的用户表示来建立域连接，从而提高所有场景下的推荐性能。然而，这种方法的一般通过在每个域中分别训练用户嵌入，然后以简单的方式聚合它们，通常忽略用户和项目之间潜在的跨域相似性。此外，考虑到它们的训练目标是面向推荐任务的，而没有特定的正则化，优化的嵌入忽略了用户视图之间的兴趣对齐，甚至违背了用户的原始兴趣分布。为了应对这些挑战，本文提出了一种新的跨领域推荐框架COAST，通过感知实体之间的跨领域相似性和对齐用户兴趣来提高双领域推荐性能。
具体而言，首先构建统一的跨域异构图，并重新定义图卷积网络的消息传递机制，以捕获跨域用户和项目的高阶相似性;针对用户兴趣对齐，从两个更细粒度的角度，借助丰富的无监督和语义信号，对跨领域的用户-用户和用户-项目兴趣不变性进行了深入的见解。在两个大型推荐数据集上构建的多个任务上进行了深入实验。大量实验结果表明，COAST的推荐性能明显优于当前最先进的跨领域推荐算法和经典的单领域推荐方法。
关键字
跨领域相似度，兴趣对齐，推荐系统 (Cross-domain similarity, Interest alignment, Recommender system)
目录
1 介绍
为了缓解信息过载，各种知名平台，如Netflix和Amazon部署了推荐系统来捕捉用户的个性化偏好。数据稀疏性和冷启动问题是影响用户兴趣建模精度和效率的重要挑战
为了解决这些问题，研引入了跨域推荐系统(cross-domain recommendation system, CDR)，即通过迁移学习技术将知识从信息丰富的推荐场景(源域)迁移到交互稀疏的场景(目标域)。这种定向迁移本质上增强了目标域的知识，并在多个推荐数据集上取得了很好的结果。进一步，有研究人员从事双向跨领域推荐，认为合理的模型结构可以促进源领域和目标领域知识的相互迁移。
例如，用户Jack在网络社区(源域)中搜索和浏览大量与计算机性价比相关的帖子，我们可以同时在网络商城(目标域)中向他推荐各种类型的计算机，反之亦然。这种双重推荐范式不仅可以缓解负迁移现象，还可以通过提升模型在源域的推荐能力来提升目标域上的上限
双跨域推荐的主流分类方法可以分为协同矩阵分解、基于映射的方法、基于图神经网络的方法和重叠实体的表示组合。本文努力突破最后一种范式，其一般做法是在两个领域分别训练用户和项目表示，然后对它们进行特定的聚合(concat, dot, pooling)以进行知识转移。
面临着三个严峻的挑战。
1、这些研究大多在用户完全重叠的显式数据集上进行实验，与现实世界中丰富的隐式内容和部分用户重叠的场景显著不同。
2、在每个领域独立训练实体表示的做法在结构上隔离了用户-项目之间的交互，从而无法感知实体之间的高阶相似性。
3、考虑到面向推荐任务的优化目标，这些工作无法保证跨领域重叠用户兴趣的对齐。
本文认为，没有任何正则化的跨领域实体表示的普通聚合无法在实例层面区分用户的个人偏好，也无法保证用户对物品的兴趣一致，甚至导致用户之间的兴趣冲突。
为了应对这些挑战，本文提出了一种基于用户兴趣对齐的跨域推荐方法COAST(
Cross domain recOmmendation viA uSer inTerest alignment)，旨在改进具有部分用户重叠的跨域推荐，如图1(b)所示。与以往研究不同的是，我们从丰富的内容数据(评论、标签、用户/物品简介)中提取足够的特征来形成一个隐式数据集，以捕获更多的反馈。将之前单独训练表示的方法更新为一个统一的跨域异构图，以吸收用户和项目的跨域相似性。针对跨多个领域重叠的用户兴趣对齐，从用户-用户和用户-项目两个角度获得深入的见解。具体来说，对于用户-用户兴趣对齐，我们认为用户在不同领域的行为是由相同的兴趣分布驱动的，从而鼓励用户的所有视图在K个兴趣表示上具有相似的兴趣分布，如图1(a)所示。这不仅允许模型在实例级别区分用户，而且缓解了同一用户视图之间的利益冲突。对于用户-物品兴趣一致性问题，认为交互物品是对用户兴趣的观察，所有用户视图应该对它们表现出一致的偏好。得益于梯度[10]的丰富语义，采用梯度对齐来鼓励跨视图的高阶投影遵循相同的优化路径。
[10] Zhiqiang Gao, Shufei Zhang, Kaizhu Huang, Qiufeng Wang, and Chaoliang
Zhong. 2021. Gradient distribution alignment certificates better adversarial
domain adaptation. In Proceedings of the IEEE/CVF International Conference on
Computer Vision. 8937–8946.
本文做出了以下贡献:
1、通过考虑跨领域相似性和用户兴趣对齐，在跨领域推荐方面做了大量工作。该框架在部分用户重叠的基础上进行双重知识迁移，以提高推荐性能。
2、我们不是单独训练实体表示，而是构建统一的跨域异构图，并相应地开发一种新的消息传递机制来捕获实体之间的跨域相似性。
3、我们分别采用对比学习和梯度对齐来约束用户-用户和用户-项目的兴趣对齐，从而增强了视图间的兴趣一致性。
4、将COAST与现实世界中最先进的算法进行了比较，在所有任务上都取得了显著的改进。我们承诺代码和数据集将在验收后发布以供进一步比较
2 相关工作
所提出的框架来自两个研究领域:跨域推荐和对比学习。分别总结了它们的主要研究范式、优缺点以及与研究的密切联系。
2.1 跨域推荐
跨领域推荐致力于探索来自多个领域的数据，以同时提升模型在所有场景下的推荐性能
一个基本的想法是合并跨领域知识的几个约束，以同时分解两个领域中的用户-项目交互矩阵[14,28,39]。这种类型可以扩展到基于矩阵分解的大量单域推荐[31]上，但其性能不如深度学习方法。另一种范式是定制一个映射函数，其优化目标是转换后的冷启动用户表示在目标域中具有良好的泛化性[29,45]。这种范式的效率取决于映射函数的合理性和表示能力，以及是否有足够的重叠实体可用于训练，这限制了模型的泛化能力。第三种范式借助于流行的知识图谱技术[35]，构建共享图来表示用户、项目和属性之间的关系，并通过图嵌入学习实体表示[4,20]。尽管这些方法具有良好的图结构提取能力，但其对计算资源的高要求限制了其可扩展性。
最近，利用重叠用户表示和组合的算法是一种趋势，它们的标准做法是学习来自不同领域的实体表示，然后结合重叠实体表示来丰富每个领域的知识[9,44]。显然，缺乏跨领域相似度和粗糙的组合方式限制了它们的推荐性能。
2.2 对比学习
Contrastive Learning
对比学习强调学习一个实例的不同视图之间的共同特征，目的是实现实例级的判别。与监督学习相比，它以自监督的方式学习。
早期的对比学习架构倾向于使用大批量来聚集足够多的负例，但此类方法的可扩展性受到GPU内存[3]的限制。现有体系结构都深入探讨了使用特定指标来衡量样本相似性，即鼓励同一实体的不同视图在投影空间中更接近，反之亦然。最近，Caron等人的[2]放弃了传统的正负例比较，从聚类的角度对对比学习展开了新的探索。
受对比学习的启发，我们打算在实例级区分用户表示。特别是，遵循聚类的思想，我们鼓励同一用户的不同观点聚集到同一个兴趣中心，从而产生更好的用户兴趣表示。
3 提出的方法
阐述一般CDR问题的定义，然后概述了本文的框架，最后详细介绍了子模块和优化方法。
3.1 问题定义
本文考虑了一个一般的CDR场景，有两个域S(源)和T(目标)，其中前者包含丰富和信息的交互，而后者相对稀疏。
s
o
u
r
c
e
d
o
m
a
i
n
:
D
S
=
(
U
S
,
V
S
,
E
S
,
X
S
)
t
a
r
g
e
t
d
o
m
a
i
n
:
D
T
=
(
U
T
,
V
T
,
E
T
,
X
T
)
w
h
e
r
e
U
,
V
,
E
,
X
代表用户集、项集和边集、属性集
特别是，用户设置
U
S
和
U
T
包含重叠的用户子集
U
o
。
source\ domain\ : \ D_S = (U_S,V_S,E_S,X_S)\\ target \ domain\ : \ D_T=(U_T,V_T,E_T,X_T)\\ where\ U,V,E,X 代表用户集、项集和边集、属性集\\ 特别是，用户设置U_S和U_T包含重叠的用户子集U_o。
source domain : DS=(US,VS,ES,XS)target domain : DT=(UT,VT,ET,XT)where U,V,E,X代表用户集、项集和边集、属性集特别是，用户设置US和UT包含重叠的用户子集Uo。
用户集可以重新定义为
U
S
=
{
U
s
,
U
o
}
,
U
T
=
{
U
t
,
U
o
}
U_S=\{U_s,U_o\},U_T=\{U_t,U_o\}
US={Us,Uo},UT={Ut,Uo}
其中U𝑠和U𝑡是两个域中不重叠/不同的用户集
为了简化说明，我们进一步引入两个二进制矩阵来存储用户-项目交互，
A
S
=
{
0
,
1
}
∣
U
S
∣
×
∣
V
S
∣
A
T
=
{
0
,
1
}
∣
U
T
∣
×
∣
V
T
∣
每个领域中的元素
A
i
j
表示用户
u
i
∈
U
,
项目
v
j
∈
V
在边集
E
中是否存在交互关系
A_S=\{0,1\}^{|U_S| \times |V_S|}\\ A_T=\{0,1\}^{|U_T| \times |V_T|}\\ 每个领域中的元素A_{ij}表示用户u_i \in U,项目v_j \in V 在边集E中是否存在 交互关系
AS={0,1}∣US∣×∣VS∣AT={0,1}∣UT∣×∣VT∣每个领域中的元素Aij表示用户ui∈U,项目vj∈V在边集E中是否存在交互关系
双跨领域推荐的定义如下：
鉴于观察到的S和T的交互和内容， dual CDR旨在利用重叠用户的知识转移来提高两个领域的推荐性能。
给定
A
S
,
A
T
,
X
S
,
X
T
,
目标：在域
S
和域
T
中分别推荐
v
i
∈
V
S
,
v
j
∈
V
T
给定A_S,A_T,X_S,X_T,\\目标：在域S和域T中分别推荐 \ v_i \in V_S,v_j \in V_T
给定AS,AT,XS,XT,目标：在域S和域T中分别推荐 vi∈VS,vj∈VT
3.2 COAST框架概述
在本节中，我们概述了拟议的跨域推荐框架COAST，其体系结构如图2所示。
首先，构建统一的跨领域异构图，并改进图卷积网络的消息传递机制来捕获用户和项目的跨领域相似性;
然后，对于每个重叠用户，从用户-用户和用户-物品两个角度，利用对比学习和梯度对齐来确保用户兴趣的对齐;
最后，在前人研究的基础上，采用负采样机制计算两个域的监督损失，并将其与上述两种损失联合优化以实现对齐。
3.3 跨域图卷积
之前单独训练的表示只能捕获单域信息;因此，我们构建了一个统一的跨领域异构图和一种新颖的消息传递机制来捕获跨领域相似性
3.3.1 构建
基于A_S和A_T确定异构图G中的节点和边。请注意，对于来自两个域的项目，我们将它们视为相同类型的节点，差异在于用户与它们交互的边的类型。对于节点的初始嵌入，我们按照以下数据预处理方式生成它们。具体来说，对于常见的数值属性和类别属性，分别进行归一化和one-hot编码。对于文本属性(标签、注释、配置文件等)，首先将与实体相关的文本聚合成一个大型文档，然后使用doc2vec技术将其转换为语义向量。请注意，我们对两个域的用户执行联合编码。最后，我们得到每个用户和物品的初始嵌入，
e
u
∈
H
U
,
e
S
v
∈
H
S
,
e
T
v
∈
H
T
e
u
=
{
e
S
u
,
i
f
u
∈
U
s
e
T
u
,
i
f
u
∈
U
t
e
S
u
⊗
e
T
u
,
i
f
u
∈
U
o
⊗
是最大池化操作
e^u \in H_U,e_S^v \in H_S,e_T^v \in H_T\\ e^u= \left\{ \begin{array}{c} e^u_S,\ \ \ \ \ \ \ \ \ \ \ if \ u \in U_s\\ e^u_T, \ \ \ \ \ \ \ \ \ \ \ if \ u \in U_t\\ e^u_S \otimes e^u_T, \ \ \ if \ u \in U_o\\ \end{array} \right.\\ \otimes 是最大池化操作
eu∈HU,eSv∈HS,eTv∈HTeu=⎩
⎨
⎧eSu, if u∈UseTu, if u∈UteSu⊗eTu, if u∈Uo⊗是最大池化操作
重叠用户在两个域中都有行为，因此将他们在两个域中的表示进行汇总。在不损失通用性的情况下，采用最大池化。
3.3.2 传播
为了捕获用户和项目的高阶跨域相似性，我们改进了图卷积网络的消息传递机制。在形式上,
m
u
←
v
=
1
∣
N
u
∣
∣
N
v
S
∣
∣
N
v
T
∣
(
W
1
e
u
+
W
2
(
e
S
v
⊙
e
u
)
+
W
3
(
e
T
v
⊙
e
u
)
)
m_{u \leftarrow v}=\frac 1{\sqrt{|N_u||N_v^S||N_v^T|}}(W_1e^u+W_2(e^v_S \odot e^u)+W_3(e^v_T \odot e^u))
mu←v=∣Nu∣∣NvS∣∣NvT∣1(W1eu+W2(eSv⊙eu)+W3(eTv⊙eu))
其中N代表一跳邻居的集合,𝑊是可训练参数，⊙表示元素乘积(the element-wise product)
element-wise 是两个张量之间的操作，它在相应张量内的对应的元素进行乘积
如果两个元素在张量内占据相同位置，则称这两个元素是对应的。该位置由用于定位每个元素的索引确定。
在图卷积操作的消息传递机制中加入跨域用户-物品交互，期望捕获历史交互信息。该方法不仅丰富了嵌入表示，而且增强了跨域协作信号的捕获能力。形式上，用户嵌入传播为:
e
u
(
l
+
1
)
=
L
e
a
k
y
R
e
L
U
(
m
u
←
u
(
l
)
+
∑
v
∈
N
u
m
u
←
v
(
l
)
)
e^{u^{(l+1)}}=LeakyReLU(m_{u \leftarrow u}^{(l)}+\sum _{v \in N_u} m_{u \leftarrow v}^{(l)})
eu(l+1)=LeakyReLU(mu←u(l)+v∈Nu∑mu←v(l))
其中𝑙表示𝑙-th GNN层。还支持堆叠GNN层来感知高阶相似性。在形式上,
E
(
l
)
=
σ
(
(
L
+
I
)
E
(
l
−
1
)
W
1
(
l
)
+
L
E
(
l
−
1
)
⊙
E
(
l
−
1
)
W
2
(
l
)
+
L
E
(
l
−
1
)
⊙
E
(
l
−
1
)
W
3
(
l
)
)
E^{(l)} = \sigma ((L+I)E^{(l-1)}W_1^{(l)}+LE^{(l-1)} \odot E^{(l-1)}W_2^{(l)}+LE^{(l-1)} \odot E^{(l-1)}W_3^{(l)})
E(l)=σ((L+I)E(l−1)W1(l)+LE(l−1)⊙E(l−1)W2(l)+LE(l−1)⊙E(l−1)W3(l))
其中𝜎是激活函数𝑅𝑒𝑙𝑢，𝐸是用户和物品的表示，𝐼表示单位矩阵。𝐿表示图形的拉普拉斯矩阵。在形式上,
L
=
D
−
1
2
A
D
−
1
2
a
n
d
A
=
[
0
R
R
T
0
]
L = D^{-\frac12} AD^{-\frac12} \ and \ A = \left[ \begin{array}{c} 0 \ \ \ R \\ R^T \ \ \ 0 \end{array} \right]
L=D−21AD−21 and A=[0 RRT 0]
其中D为对角度矩阵，𝐴为邻接矩阵，𝑅为用户-物品交互矩阵，0为全零矩阵。我们连接每一层的用户和物品表示，
e
u
=
e
u
(
0
)
⊗
⋯
e
u
(
l
)
,
e
S
v
=
e
S
v
(
0
)
⊗
⋯
⊗
e
S
v
(
l
)
,
e
T
v
=
e
T
v
(
0
)
⊗
⋯
⊗
e
T
v
(
l
)
.
e^u = e^{u^{(0)}} \otimes \cdots e^{u^{(l)}},\\ e_S^v = e_S^{v^{(0)} } \otimes \cdots \otimes e_S^{v^{(l)} } ,\\ e^v_T = e_T^{v^{(0)} } \otimes \cdots \otimes e_T^{v^{(l)} } .
eu=eu(0)⊗⋯eu(l),eSv=eSv(0)⊗⋯⊗eSv(l),eTv=eTv(0)⊗⋯⊗eTv(l).
我们的方法有几个优点。一方面，针对不同领域的用户-物品交互形成统一的图结构，直观且易于捕获跨领域相似性;另一方面，将消息传递机制推广到跨域场景，增强了传统图卷积算子的实用性。
3.4 用户兴趣一致性
已有研究应用普通表示聚合来迁移两个领域的知识;然而，这种方法忽略了用户兴趣的一致性。从用户-用户和用户-项目的角度对齐用户兴趣，约束用户表示。
3.4.1 User-User对齐
为了在实例层面区分用户，我们**分别聚合用户在不同领域的二阶邻居表示，得到相应的对比视图，如图3所示。**其背后的动机是，用户的上下文可以增强用户在该领域的兴趣表示
u
∈
U
o
e
S
u
=
∑
i
∈
N
u
,
2
S
α
i
e
u
i
,
e
T
u
=
∑
i
∈
N
u
,
2
T
α
i
e
u
i
,
其中
N
u
,
2
是
u
的
2
跳邻居
α
i
=
e
x
p
(
s
(
u
i
,
u
)
)
∑
j
∈
u
,
2
e
x
p
(
s
(
u
j
,
u
)
)
u \in U_o\\ e^u_S = \sum _{i\in N_{u,2}^S}\alpha_ie^{ui},\\ e^u_T = \sum _{i\in N_{u,2}^T}\alpha_ie^{ui},\\ 其中 N_{u,2} 是u的2跳邻居\\ \alpha _i = \frac {exp(s(u_i,u))}{\sum_{j\in u,2}exp(s(u_j,u))}\\
u∈UoeSu=i∈Nu,2S∑αieui,eTu=i∈Nu,2T∑αieui,其中Nu,2是u的2跳邻居αi=∑j∈u,2exp(s(uj,u))exp(s(ui,u))
𝑠(·)表示评分函数，在不失通用性的前提下，我们使用点积。
然后
将
e
S
u
和
e
T
u
分别输入到特征提取器
F
S
和
F
T
中，并得到他们的表示
z
S
,
z
T
将e^u_S 和e ^u_T 分别输入到特征提取器F_S 和F_T 中，并得到他们的表示z_S,z_T
将eSu和eTu分别输入到特征提取器FS和FT中，并得到他们的表示zS,zT
我们假设重叠用户共有K种兴趣，即{𝑐1，···，𝑐𝐾}。根据我们的假设，同一用户的不同视图之间的兴趣分布应该是一致的。在形式上,
ι
(
z
T
,
q
S
)
=
−
∑
k
q
S
(
k
)
l
o
g
p
T
(
k
)
p
T
(
k
)
=
e
x
p
(
1
ι
z
τ
T
c
k
)
∑
k
′
e
x
p
(
1
ι
z
τ
T
c
k
′
)
\iota (z_T,q_S) = - \sum _k q_S^{(k)}log\ p_T^{(k)}\\ p_T^{(k)} = \frac{exp(\frac 1\iota z^T_\tau c_k)}{\sum_{k'}exp(\frac 1\iota z^T_\tau c_{k'})}
ι(zT,qS)=−k∑qS(k)log pT(k)pT(k)=∑k′exp(ι1zτTck′)exp(ι1zτTck)
其中𝑞是通过Q提取器的高阶投影，𝜏是温度参数。换句话说，我们鼓励𝑢的对比视图具有相同的兴趣分布聚类结果。用户-用户对齐损失如下:
L
U
,
U
=
ι
(
z
T
,
q
S
)
+
ι
(
z
S
,
q
τ
)
L_{U,U}=\iota(z_T,q_S)+\iota(z_S,q_\tau)
LU,U=ι(zT,qS)+ι(zS,qτ)
此外，我们遵循swav[2]中相同的解决方案，该解决方案限制了小批量中张量的传输，以确保模型具有内存效率。
[2] Mathilde Caron, Ishan Misra, Julien Mairal, Priya Goyal, Piotr Bojanowski, and Armand Joulin. 2020. Unsupervised learning of visual features by contrasting cluster assignments. Advances in Neural Information Processing Systems 33 (2020), 9912–9924.
3.4.2 User-Item对齐
为了确保用户对项目的一致兴趣，我们鼓励𝑢的不同视图更接近交互式项目表示，如图4所示。这种观点的一个直接动机是，用户视图和交互过的物品都可以代表用户的真正兴趣;因此，即使视图和项目在不同的域中，它们也应该在投影空间中保持接近。因此，得益于梯度的丰富语义[10]，引入Gradient Alignment来诱导不同视图对交互项目遵循相同的优化路径。形式上，我们定义𝑔S和𝑔T来表示用户源视图和目标视图上的预期梯度
[10] Zhiqiang Gao, Shufei Zhang, Kaizhu Huang, Qiufeng Wang, and Chaoliang Zhong. 2021. Gradient distribution alignment certificates better adversarial domain adaptation. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 8937–8946.
g S = E ( u , v ) ( U o , V s ) [ ∇ θ f s u ( ι c e ( F s u ( e u ) ⋅ ( F s v ( e v ) ) T , y u , v ) ] 其中 F s u ， F s v 是用于提取源域中用户和项目表示的塔式结构 g_S = E_{(u,v) ~(U_o,V_s)}[\nabla \theta_{f^u_s}(\iota_{ce}(F^u_s(e^u)\cdot (F^v_s(e^v))^T,y_{u,v})]\\ 其中F^u_s，F^v_s是用于提取源域中用户和项目表示的塔式结构 gS=E(u,v) (Uo,Vs)[∇θfsu(ιce(Fsu(eu)⋅(Fsv(ev))T,yu,v)]其中Fsu，Fsv是用于提取源域中用户和项目表示的塔式结构
两者都由多层感知器(mlp)组成。
g
T
=
E
(
u
,
v
)
(
U
o
,
V
T
)
[
∇
θ
f
t
u
(
ι
c
e
(
F
t
u
(
e
u
)
⋅
(
F
t
v
(
e
v
)
)
T
,
y
u
,
v
)
]
g_T = E_{(u,v) ~(U_o,V_T)}[\nabla \theta_{f^u_t}(\iota_{ce}(F^u_t(e^u)\cdot (F^v_t(e^v))^T,y_{u,v})]\\
gT=E(u,v) (Uo,VT)[∇θftu(ιce(Ftu(eu)⋅(Ftv(ev))T,yu,v)]
我们的目标是尽量减少𝑔S和𝑔T之间的差异。在不损失一般性的情况下，我们使用余弦相似度作为差异度量。
L
U
,
I
=
1
g
S
T
⋅
g
T
∣
∣
g
S
∣
∣
2
∣
∣
g
T
∣
∣
2
∣
∣
⋅
∣
∣
2
表示
2
范数
L_{U,I} =1 \frac {g_S^T \cdot g_T}{||g_S||_2||g_T||_2}\\ ||·||_2表示2范数
LU,I=1∣∣gS∣∣2∣∣gT∣∣2gST⋅gT∣∣⋅∣∣2表示2范数
从更细粒度的角度约束用户表示，即用户兴趣对齐。一方面，这种方法作为正则化器，以防止用户表示的过拟合。另一方面，对比学习利用了无监督信息，梯度对齐利用了语义信息，进一步丰富了跨领域知识的迁移。
3.5 优化建模
在本节中，我们首先详细阐述的监督预测，然后说明联合优化过程。
3.5.1监督评估
采用双塔结构来捕获用户和项目的高阶表示，其中塔结构由mlp组成。MLPs的结构使用[𝐷，2𝐷，4𝐷，8𝐷，4𝐷，2𝐷，𝐷]，这已经被证明是有效的特征提取。
$$
\hat y_s = \frac {Fu_s(eu_S)\cdot (Fv_s(ev_S))T}{||Fu_s|| ||F^v_s||} +\lambda_1(||eu||+||e_Sv||)\
\hat y_t = \frac {Ft_s(eu_T)\cdot (Fv_t(ev_T))T}{||Fu_t|| ||F^v_t||} +\lambda_1(||eu||+||e_Tv||)\
||e^u||是嵌入正则化吗
为避免模型过拟合
𝑌
+
(
真实值
)
，随机选择一定数量的未观察到的用户
−
项目交互作为负面实例，记为
𝑌
−
，
𝑦
=
𝑌
+
，
𝑌
−
。我们使用二元交叉熵进行优化，
为避免模型过拟合𝑌+(真实值)，随机选择一定数量的未观察到的用户-项目交互作为负面实例，记为𝑌−，𝑦={𝑌+，𝑌−}。我们使用二元交叉熵进行优化，
为避免模型过拟合Y+(真实值)，随机选择一定数量的未观察到的用户−项目交互作为负面实例，记为Y−，y=Y+，Y−。我们使用二元交叉熵进行优化，
\iota(y,\hat y) = t\ log\ \hat y +(1-y)log(1-\hat y)
同时对两个域的监督损失进行优化
同时对两个域的监督损失进行优化
同时对两个域的监督损失进行优化
L_s = \iota(y_s,\hat y_s)+\iota(y_t,\hat y_t)
$$
3.5.2 总损失
将各部分的损失函数相加进行联合优化。总的损失函数是
L
=
L
s
+
λ
2
(
L
U
,
U
+
L
U
,
I
)
λ
2
是两个利益一致性约束的权重
L=L_s +\lambda_2(L_{U,U}+L_{U,I})\\ \lambda_2是两个利益一致性约束的权重
L=Ls+λ2(LU,U+LU,I)λ2是两个利益一致性约束的权重
总体而言，本文提出了一种端到端的双跨领域推荐解决方案，在保证重叠用户兴趣对齐的同时，提高了两个领域的推荐性能。算法的整体优化过程如附录B中的算法1所示。
4 试验
为了证明我们模型的先进性和稳健性，我们进行了大量的实验来回答以下问题:
RQ1:与最先进的算法相比，COAST在公共指标上的表现如何?
RQ2:重叠的用户比例和子模块如何影响模型性能?
RQ3:几个关键参数对模型性能有什么影响?
4.1 实验设置
在本节中，我们将介绍数据集的统计数据、模型的必要参数设置以及用于比较的最新算法。
4.1.1 数据集
利用豆瓣网和某知名行业平台提供的大规模匿名数据集进行了广泛的实验。它们都允许用户对来自不同领域的一系列项目进行评分和评论，每个项目都代表用户的兴趣。因此，显式用户反馈与隐式领域知识的结合对于跨领域推荐具有独特的价值。
4.1.2 参数设置
嵌入大小为64，批量大小设置为4096，训练最大epoch设置为100。我们初始化用户的兴趣K为256，设置正则化权重𝜆1和对齐权重𝜆2分别为1e-2和1e-3。
采用留一法来评估模型性能。具体来说，对于测试集中的每个用户，我们随机抽样99个用户没有交互过的项目作为负例，并计算真实值命中率和排名位置。通过命中率(Hit)和归一化折损累积增益(NDCG)值来评估模型和基线的结果，其中HR衡量测试项目是否排在top - n列表上，而NDCG衡量特定的排名质量，最高位置的命中得分排名[16]。注意，除非另有说明，本文的计算值为@10。
4.1.3 基线方法
NMF、LightGCN、MVDNN、DTCDR、DDTCDR、DML、GADTCDR、CDRIB
4.2 与基线比较(RQ1)
得益于跨领域相似性感知和用户兴趣对齐，COAST在不同任务上的性能相比最佳性能提升了0.32% ~ 10.22%。
这些实验反映了一些有趣的发现:
(1)跨领域算法在大多数任务中优于单域算法，证明了知识迁移在跨领域推荐中的重要性。表现不佳的跨域基线，特别是那些基于映射类型的基线，过度依赖重叠的用户比例，如DDTCDR, DML。
(2)融合隐式特征的算法优于仅使用显式交互的模型，表明捕获内容相似性的重要性。
(3)基于表示组合的模型优于基于映射的方法，证明了自定义的简单映射函数不能反映复杂的跨领域用户表示转换。
(4)目标域的改进效果大于源域。一方面，源域可以提供更多的信息，另一方面，源域推荐能力的提升导致目标域推荐性能上界的进一步提升。
(5)此外，所提出的模型对电影-书籍任务的改进比电影-音乐任务更大。可能的原因是数据集大小和重叠用户数量的差异，决定了知识的丰富程度和迁移的口径。我们计划将此作为未来研究的主题。
4.3 稳健测试(RQ2, RQ3)
我们进行了重叠比测试、消融实验和超参数测试来验证我们模型的稳健性。
4.3.1 Length N 我们还检查了COAST的性能以及在单域、跨域基线(即LightGCN、GADTCDR)中最具竞争力的算法在不同推荐列表长度上的表现，如图5所示。
显然，所有算法的性能随着推荐列表的增加而提高，因为列表越长，容错性越高。同时，与LightGCN和GADTCDR算法相比，所提算法在所有场景下都取得了最好的性能，尤其是在困难的𝑁= 3场景下提升幅度最大，可见所提算法的优越性。
4.3.2重叠比
为了研究我们模型的鲁棒性，我们进行了扩展重叠用户数量的实验。
表3报告了在重叠用户分别为25%、50%、75%和100%的相应跨域场景上训练的COAST和GADTCDR的推荐性能。从表3中，我们得到以下观察结果。
(1)随着重叠用户训练比例的增加，所有算法的推荐性能稳步提升，这说明重叠比例能够有效增强领域间的相关性。
(2)该模型显示出了比最强的基线GADTCDR更鲁棒的性能，即使只有25%的用户重叠。这归功于统一图消息传递机制和用户兴趣对齐，使模型能够感知实体之间的跨领域相似性，并确保跨视图兴趣的一致性。
(3)研究发现，与25%→50%相比，重叠率从75%→100%几乎没有提升，因为重叠用户的绝对数量足够大，可以保证基本的知识迁移。
4.3.3消融研究
我们进一步将COAST与几种烧蚀变体进行比较，以证明不同子模块的有效性和先进性。为了公平起见，除了指定的烧蚀模块外，其他设置保持不变
• COAST-NF: 这种变体只使用显式交互。
• COAST-NS: 不同于构建跨域异构图，每个域单独训练表示。
• COAST-NM: 在3.3.2节中没有用户-项目交互。
• COAST-NU: 这种变体不受用户-用户一致性的约束。
• COAST-NI: 这种变体不受用户-项目一致性的约束。
如图6所示，COAST-NF的性能最差，但仍强于绝大多数基线(除了GADTCDR)，表明我们的模型结构能够从显式数据中挖掘结构相似性。对于COAST- ns和COAST- nm，作为跨域图模块的消融量，两者都比COAST减小。前者由于用户-物品跨域的隔离性，无法捕获跨域相似性而后者由于忽略了用户-项目的协同信号，不足以表征协同过滤关系。与此同时，在相同的结构下，COAST比COAST- nu、COAST- ni有所改善。这表明，使用用户兴趣对齐作为约束不仅可以有效地防止过拟合，而且作为一种细粒度的知识利用，可以显著增强用户表示跨域的泛化。从更深的角度来看，对比学习和梯度对齐利用了
4.3.4 Hyper-testing.
在本小节中，我们将介绍框架中几个关键超参数的调优。
Embedding size D
嵌入大小是深度学习中最重要的超参数之一，与模型容量密切相关[38]。为了提高所提出的COAST的性能，我们对嵌入大小进行了超参数搜索。
如图7所示，当𝐷= 64时，我们的算法在任何指标上都表现最好。嵌入尺寸越大，模型的表现力越强，但过大的嵌入尺寸会降低收敛速度，导致过拟合。因此，我们选择𝐷= 64作为COAST中的嵌入大小
兴趣数K
在第3.4.1节中，我们约束用户的对比视图属于同一个集群中心。鉴于此，我们对兴趣聚类中心的数量进行了测试𝐾。
如图8所示，我们的模型对𝐾很敏感。我们认为，之所以会出现这种现象，是因为𝐾代表了一个抽象的利益中心，而不是一个具体的利益中心。同时，我们提出当项目数量和用户数量增加时，可以选择更高的𝐾来表征用户兴趣的分布。这是直观的，随着用户数量的增加，兴趣显然会变得更加多样化。因此，我们选择𝐾= 256。
一致性的权重𝜆2
一致性权重𝜆2是任务兴趣和用户兴趣一致性之间的权衡。为了提高推荐效果，我们对其进行了调整。
𝜆2越大，对用户兴趣一致性的约束越强，但会阻碍特定领域的用户表示，从而影响该领域的推荐性能。反之，𝜆2越小，我们的模型将退化为一般表示组合模型，无法解决用户兴趣对齐问题。通过实验，我们设置𝜆2 = 0.01。
5 结论
在这项工作中，我们提出了COAST框架，旨在提高双跨域推荐场景下的模型性能。本文尝试利用丰富的内容信息和用户兴趣对齐来进行双向知识迁移。**具体地，将两个域内用户和物品的交互建模为一个统一的跨域异构图，并改进图卷积的消息传递机制来捕获用户和项目的跨领域相似性。利用对比学习和梯度对齐，从用户-用户和用户-项目的角度约束重叠的用户兴趣对齐。**总的来说，我们的解决方案有几个优点。首先，在数据层面，该任务构建在用户部分重叠的数据集上，同时利用显式和隐式信息，具有更广泛的应用场景。其次，在算法层面，与之前的普通组合相比，从高阶跨域相似性和用户兴趣对齐中学习到更好的表示。最后，在实验层面上，进行了广泛的实验，证明了所提模型的最先进和优越性。
对于未来的工作，我们的研究仍存在一些局限性。首先，如何将我们的工作扩展到更复杂的场景，如物品重叠或多领域推荐的情况。其次，如何在特征提取模块中融合来自其他模态的数据或更复杂的交互，如图像、属性节点等。最后，在更大的跨领域推荐数据集上验证COAST的鲁棒性。
971
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
