文章目录
论文笔记《LLMRec: Large Language Models with Graph Augmentation for Recommendation》
简介
香港大学和百度合作发表在WSDM 2024的一篇文章。目光聚焦在解决侧信息用来辅助推荐时出现的数据噪声、数据异构型以及数据不完整性问题,提出了采用三种图增强策略的LLMRec框架。
问题形式化
图embedding目标,其中: E \mathcal{E} E是用户对物品的隐式反馈, E \mathbf{E} E是用户和物品的嵌入。
E ∗ = arg max E p ( E ∣ E + ) (1) \mathbf{E}^{*}=\arg\max_{\mathbf{E}}p(\mathbf{E}|\mathcal{E}^{+})\tag{1} E∗=argEmaxp(E∣E+)(1)
加入了侧信息的情况下任务目标,其中\mathbf{F}是物品的侧信息特征:
Θ ∗ = arg max Θ p ( Θ ∣ F , E + ) (2) \Theta^{*}=\arg\max_{\Theta}p(\Theta|\mathbf{F},\mathcal{E}^{+})\tag{2} Θ∗=argΘmaxp(Θ∣F,E+)(2)
本模型基于数据增强的任务目标,其中 E A 、 F A \mathcal{E}_{\mathcal{A}}、\mathbf{F}_{\mathcal{A}} EA、FA是基于大模型生成的增强数据:
Θ ∗ = arg max Θ p ( Θ ∣ { F , F A } , { E + , E A } ) (3) \Theta^*=\underset{\Theta}{\arg\max}p(\Theta|\{\mathbf{F},\mathbf{F}_{\mathcal{A}}\},\{\mathcal{E}^+,\mathcal{E}_{\mathcal{A}}\})\tag{3} Θ∗=Θargmaxp(Θ∣{
F,FA},{
E+,EA})(3)
方法论
整体的框架如下,主要包含了数据增强、侧信息融合以及去噪优化三个部分。
数据增强的三种策略:
- 用户-物品交互增强,也就是增加边的数目
i u + , i u − = L L M ( P u U I ) ; E B P R = E ∪ E A (4) i_{u}^{+},i_{u}^{-}=LLM(\mathbb{P}_{u}^{UI});\quad\mathcal{E}_{BPR}=\mathcal{E}\cup\mathcal{E}_{\mathcal{A}}\tag{4} iu+,iu−=LLM(PuUI);EBPR=E∪EA(4)
E A = { ( u , i u + , i u − ) ∣ ( u , i u + ) ∈ E A + , ( u , i u − ) ∈ E A − } (5) \mathcal{E}_{\mathcal{A}}=\{(u,i_{u}^{+},i_{u}^{-})|(u,i_{u}^{+})\in\mathcal{E}_{\mathcal{A}}^{+},(u,i_{u}^{-})\in\mathcal{E}_{\mathcal{A}}^{-}\}\tag{5} EA={(u,iu+,iu−)∣(u,