论文阅读——Theoretically Guaranteed Bidirectional Data Rectification for Robust Sequential Recommendation

最新推荐文章于 2024-09-19 21:37:32 发布

海豚没有海

最新推荐文章于 2024-09-19 21:37:32 发布

阅读量1.1k

点赞数 27

分类专栏：论文阅读推荐算法文章标签：论文阅读推荐算法

本文链接：https://blog.csdn.net/weixin_43954673/article/details/137598833

版权

论文阅读同时被 2 个专栏收录

17 篇文章 0 订阅

订阅专栏

推荐算法

16 篇文章 0 订阅

订阅专栏

Theoretically Guaranteed Bidirectional Data Rectification for Robust Sequential Recommendation

理论上保证稳健顺序推荐的双向数据纠正

Abstract

顺序推荐系统 (SRS) 通常经过训练，在给定其前面（和后续）项目作为输入的情况下，预测下一个项目作为目标。这种范例假设每个输入目标对对于训练都是可靠的。然而，可能会诱导用户点击与其真实偏好不一致的项目，从而导致不可靠的实例，即输入目标对不匹配。目前缓解这一问题的研究存在两个局限性：（i）它们根据使用不可靠数据训练的模型来区分实例可靠性，但没有理论上保证这种看似矛盾的解决方案可能是有效的； (ii)大多数方法只能处理不可靠的输入或目标，但无法同时处理两者。为了填补这一空白，我们从理论上揭示了 SRS 预测和实例可靠性之间的关系，从而提出了两种误差限策略来分别纠正不可靠的目标和输入。在此基础上，我们设计了一个与模型无关的双向数据纠正（BirDRec）框架，该框架可以灵活地与大多数现有的SRS一起实现，以针对不可靠的数据进行稳健的训练。此外，还设计了校正采样策略并采用自集成机制来降低 BirDRec 的（时间和空间）复杂度。对四个真实世界数据集的广泛实验验证了我们提出的 BirDRec 的通用性、有效性和效率。

1 Introduction

对于顺序推荐系统，日常生活中的干扰（例如朋友的推荐、账户共享、意外点击）可能会诱使用户的点击与其真实偏好不一致的项目，从而导致输入目标的不可靠的训练实例。不匹配可以分为 完全不匹配 和 部分不匹配 。如下图，《La La Land》是朋友推荐的不可靠目标，与之前的超级英雄电影完全不匹配。相比之下。第二种情况下，它充当不可靠的输入项，导致输入序列与目标超级英雄电影部分不匹配。

在这里插入图片描述

已存在的解决这类问题的推荐系统的局限： (i) 它们根据使用不可靠数据训练的模型的中间或最终输出（SRS 本身或附加校正器）来区分实例可靠性。然而，没有理论上的保证这种看似矛盾的解决方案对于检测和纠正不可靠的实例是值得信赖的。 (ii) 大多数先前的研究仅侧重于解决不可靠的输入或目标，但未能同时处理两者。

两种误差有限的纠正策略： （1）检测持续低分的目标（即不可靠的目标）并将其替换为稳定的高分项目；（2）检测并删除输入中持续低分的项目（即不可靠的输入），其中得分为通过反向 SRS 估计。

请注意，不可靠的输入项（作为输入中的中断）不会被替换，而是被直接删除以桥接前后项。基于这些策略，提出了一个与模型无关的双向数据纠正（BirDRec）框架，其中包含两个相反方向的 SRS，用于处理不可靠的目标和输入。此外，为了降低时间复杂度，设计了修正采样策略，以有效地获得一致的高分项目；为了降低空间复杂度，采用自集成机制[1] 来近似不同训练时期的加权平均预测分数。

[1] Hongjun Wang and Yisen Wang. Self-ensemble adversarial training for improved robustness. In ICLR, 2022.

贡献：

(1) 第一个提供基于SRS预测的理论上有保证的数据修正策略，以解决不可靠的输入和更稳健的SRS的目标。

(2) 设计了一个与模型无关的双向数据校正框架，可以灵活地与大多数现有的 SRS 一起实现，以针对不可靠的数据进行稳健的训练。

(3) 设计了校正采样策略并采用自集成机制来确保BirDRec更好的可扩展性。

(4) 基于跨不同领域的代表性骨干网和数据集的 SRS 的广泛实验验证了 BirDRec 的通用性、有效性和效率。

2 Related Works

为了抵御不可靠的数据，现有的鲁棒SRS可以分为三种类型 ：

侧重于通过识别和消除具有不可靠目标的实例来处理完全不匹配。
专注于通过在制定用户的动态偏好表示时降低不可靠输入的重要性来解决部分不匹配问题。
试图解决不可靠的目标和使用额外的校正器产生可靠数据的输入。

3 Theoretical Guarantees for Rectifying Unreliable Data

3.1 Preliminaries

这一小节作者先给出了推荐系统的问题表达。

然后作者给出了自己的核心假设，作者假设用户通常会按照趋势而不是随机的选择项目，所以 $\eta$ (用户真实的偏好分布) 的最大值和中间值之间的概率差距不太可能会很小（指有一定的差距）。

假设 1 用户的真实偏好分布 $\eta$ 满足 the relatex Multiclass Tsybakov [2]

[2] Di-Rong Chen and Tao Sun. Consistency of multiclass empirical risk minimization methods based on convex loss. JMLR, 7:2435–2447, 2006.

随后作者证明了$\eta $ 和SRS预测之间存在着关联。

纠正不可靠目标的定理

定理 1 可靠的目标在训练期间不太可能保持较低的预测分数。

DRUT: Detecting and Replacing Unreliable Targets. （DRUT：检测和替换不可靠的目标。）

DRUT的误差记为 $E_{DRUT}$ ，有三种情况：（1）正确的目标 $p_1$ 是 $\tilde v^u_t$ 但是被替换成了 $v_m$ 。（2）正确的目标 $p_1$ 是 $v_m$ 但是 $\tilde v^u_t$ 被保留。（3）正确的目标既不是 $\tilde v^u_t$ 也不是 $v_m$

在这里插入图片描述

后面作者提供了可以分别保证（1）（2）情况的有界阈值 $\beta_1和\beta_2$ ，证明了即使从 $\beta_1和\beta_2$ 中选择 $\beta$ ，DRUT仍然是有误差范围的。

纠正不可靠输入的定理

定理 1 表明始终低分的目标不太可能可靠。这启发我们利用反向 SRS 给出的预测分数来纠正不可靠的输入，即删除输入中始终低分（由反向 SRS 预测）的项目。

DDUI: Detecting and Deleting Unreliable Input. （DDUI：检测并删除不可靠的输入。）

DDUI 与 DRUT 略有不同，即我们删除不可靠的输入项来桥接后续项和前面的项，而不是替换它们。由于分心导致的不可靠输入项本质上是输入序列的中断，因此替换它们可能会引入新的中断。

DDUI的误差记为 $E_{DDUI}$ ,有两种情况：（1） $\tilde v_{t-l}^u$ 是可靠的输入项但是被删除了。（2） $\tilde v_{t-l}^u$ 是不可靠的输入项但是被保留了。

在这里插入图片描述

4 The Proposed BirDRec Framework

通过将 DRUT 和 DDUI 集成到现有的 SRS 中，我们引入了 BirDRec，一种与模型无关的双向数据校正框架，它可以纠正不可靠的目标和输入，并为更强大的 SRS 提供理论保证。然而，由于 DRUT 和 DDUI 中不同时期的每个实例的预测分数的计算和存储，BirDRec 的复杂性非常高。为了缓解这个问题，我们设计了一种纠正采样策略 ，避免对整个项目集进行预测来替换不可靠的目标或删除不可靠的输入，从而降低 BirDRec 的时间复杂度。同时，我们采用自集成机制[1]来近似不同时期的加权平均预测分数，从而避免保留所有时期的分数并降低空间复杂度。

在这里插入图片描述