CRW__DREAM的博客

本文提出了一种具有**局部**和**全局**注意模块的混合注意网络(MAN)来提取特定领域和跨领域的信息。首先，提出了一个**局部/全局编码层**来捕获特定领域/跨领域的序列模式。在此基础上，提出了一个包含**项目相似度、序列融合和群体原型**的混合注意层，用于捕获局部/全局项目相似度，融合局部/全局项目序列，并分别提取不同领域的用户群体。最后，提出了一个局部/全局预测层，以进一步发展和结合特定领域和跨领域的兴趣。进一步的研究还表明，提出的方法和组件分别是模型无关的和有效的。

基于会话的推荐（Session-based Recommendation，SR）旨在根据用户在短时间内的行为来预测用户的下一次点击，这对于在线平台至关重要。然而，大多数现有的会话推荐方法在某种程度上忽略了这样一个事实：用户偏好不一定与交互顺序密切相关。并且没有考虑不同样本之间重要性的差异，这限制了模型拟合的性能。为了解决这些问题，文中提出了挖掘用户兴趣变化趋势和自适应分配样本权重的方法，简称MTAW。具体地，根据用户当前的行为和所有以前的行为来建模用户的即时兴趣。同时，为了捕捉用户兴趣的变化趋势，进行有区别

本文用自然语言的方式对用户偏好和商品特征进行建模。将商品表示为“句子”（单词序列），从而使用户的商品序列变成句子序列。提出Recformer方法来理解“句子”序列并检索下一个“句子”。为了对商品序列进行编码，设计一个类似于Longformer模型的双向Transformer。提出新的预训练和微调方法将语言任务和推荐任务结合。

作者提出的iTransformer，考虑多维时间序列的数据特性，未修改任何Transformer模块，而是打破常规模型结构，在复杂时序预测任务中取得了全面领先，试图解决Transformer建模时序数据的痛点。

时间序列无监督预训练的文章，相比原来的TS2Vec等时间序列表示学习工作，核心在于提出了将空间信息融入到预训练阶段，即在预训练阶段考虑各个序列之间的关系。因此，本文提出的方法也更适合作为时空预测领域的预训练模型。

本文提出SR-GNN模型，首先将用户序列行为分别构图，之后使用GNN方法得到图中每个item的向量表示，定义短期和长期兴趣向量得到用户兴趣向量：短期兴趣向量为用户序列中最后点击的item的向量；长期兴趣向量采用广义注意力机制将最后一个item与序列中所有item相结合。最后使用传统二分类方法进行推荐。

本文提出了一种新型的序列推荐模型SDM，该模型基于自注意力机制，融合长期兴趣和短期兴趣来捕捉用户动态偏好。

本文提出了一种新型长序列推荐模型LMU，该模型类似于LSTM。

这是阿里在NeurIPS 2022发表的一篇有关长序列推荐的论文。在长期预测中，关键的挑战是在历史信息保存和噪音降低之间进行权衡，以实现准确和稳健的预测。为了应对这一挑战，论文提出了一种频率改进的勒让德记忆模型FilM，以准确地保存历史信息并消除噪声信号。此外，论文还从理论和经验上证明了勒让德和傅立叶投影在模型中的有效性。

本文发表在IJCAI‘19’会议上有关序列推荐综述文章，也是近几年来顶会中唯一发表的序列综述性文章。序列推荐系统（sequential recommender system, SRS）与传统的推荐系统（协同过滤、基于内容的过滤）不同，传统的推荐系统,例如基于内容和协同过滤的推荐系统，以一种静态的方式建模用户和商品的交互并且只可以捕获用户广义的喜好。而相反地，SRSs则是将用户和商品的交互建模为一个动态的序列并且利用序列的依赖性来活捉当前和最近用户的喜好。

本文提出了逆倾向分数(Inverse Propensity Score, IPS)，旨在消除推荐系统中的选择偏差问题。注意：IPS方法是一个损失函数，用于后期对模型进行修正的方法。

本篇文章作者发现现有的其他领域的难负样本挖掘技术并不能很好地提高图对比学习的表现，并对这一现象进行深入探究，发现可以归因于图神经网络的信息传递机制。此外作者提出了一种挖掘图网络中的难样本对的方法。此方法原则上可以替换任何一个图对比学习中计算难样本对的模块，实验表明，此方法有着更为显著的效能提升。

作者为了解决在序列中只有一小部分关键行为可以演变成用户未来的行为，提出了RETR模型，该模型可以动态规划每个用户指定的行为路径，并通过该行为路径有节制地激活网络，从而有效地捕捉到对推荐有用的进化模式。关键设计是一个可学习的二进制路由，以防止行为路径被琐碎的行为所淹没。

UKD：通过不确定性正则化知识蒸馏的去偏转化率（CVR）估计。本文采用对抗学习方法，提出了一种不确定性正则化知识蒸馏 (UKD) 框架：通过从未点击的广告中提取知识来消除 CVR 估计的偏差。教师模型学习点击自适应表征，并在未点击的广告上生成伪转换标签作为监督信号。然后通过知识蒸馏对已点击和未点击的广告训练学生模型，进行不确定性建模以减轻伪标签中的固有噪声。

由于存在曝光偏差，观测数据可能受到曝光和选择的偏差，这使得学习的序列模型不可靠。为了解决这一基本问题，本文提出用潜在结果框架重新表述序列化推荐任务，在这个框架中，我们能够清楚地理解数据偏差机制，并通过使用反向倾向评分（IPS）重新加权训练实例来纠正它。为了提高建模的鲁棒性，在IPS估计中采用了裁剪策略，以减小学习目标的方差。为了使框架更加实用，设计了一个参数化模型来消除潜在的混杂因子的影响。最后，从理论上分析了该框架在IPS权重下和裁剪IPS权重下模型估计的无偏性。

KDD‘21阿里达摩院会议上提出了一种对比学习方法，主要为解决曝光度偏差问题。为了能够让所有样本都有机会被当做负样本，作者设计了队列机制来存储之前的正样本，并只从里边采样下一个batch的负样本。文章设计了CLREC，这是一种对比学习方法，用于在具有超大候选容量的推荐系统中提高DCG的公平性、有效性和效率。进一步改进了CLRec，并提出了multi-CLRec，以精确减少基于多意图的偏差bias。

《DIF-SR：用于序列推荐的辅助信息解耦》该模型提出了一种新型的注意力机制，分别计算出每个子项目的注意力，之后再进行融合表示，并且在损失函数中强行加入了边缘信息损失。

《CLSR：解耦长短期兴趣》这是一篇清华大学和快手共同发表在WWW2022上的有关序列推荐的文章。模型通过两种无监督方法对长期兴趣和短期兴趣的商品序列分别建模，之后通过平均向量的方法设置两个基准代理，作为用户兴趣的伪标签（第一个损失函数），然后通过GRU网络得到两个子序列的权重，最终得到物品的向量表征（用户的向量表征未进行修正），之后通过两层MLP进行预测。

KDD‘2022 最佳论文：HyperSCI_基于超边的因果推断模型。该模型具体通过聚合混杂因子（利用MLP）和高阶干涉（利用注意力机制修正超边中的节点信息、利用多层图卷积网络进行迭代训练）的两部分节点向量表征进而得到ITE

本篇文章是香港中文大学和华为诺亚实验室联合发布的一篇基于将user-item-KG组合起来形成三部图，在双曲空间依靠洛伦兹模型进行图表征学习的模型，此外，文章还提出了一个知识感知的注意力模型来自动度量不同信息的贡献。

北邮石川教授团队在WSDM发布的文章。主要提出了基于GNN的CF设计空间，并证明了并不是越复杂的模型拥有越高的性能。

这是阿里发表的关于神经网络中网络参数自适应生成的文章，不仅可以做到不同的样本有不同的网络参数，同时通过拆分矩阵等操作大大提升了推理性能。

衡量推荐系统算法的精确度的指标通常有四种：NDCG、Recall、Precision、Hit Rate。

该方法是一个整体方法，由于在小批量梯度下降中，如果每次选取的样本数量较小，损失会呈现震荡的方式下降，而用动量下降方法，则会抑制这种现象。作者发现成对标签的软标签特性可以用来减轻逐点标签的偏差。因此，为减轻样本集合中逐点标注的偏差，本文提出了动量对比框架（MP2），它结合了逐点和成对学习。在本文中，研究了推荐中的标注偏差，这是一个广泛存在但被忽视的问题，它是由二进制点标签的有限表达性引起的。论文提出了MP2，一个动量对比框架的推荐，结合点态和成对学习，以减轻注释偏差。

《CaFe：从粗粒度到细粒度的稀疏序列推荐》本文是一篇针对序列推荐的短文，主要想解决的问题是现阶段提出的采用自注意力机制的算法无法很好的应对稀疏矩阵，进而无法很好的对稀疏数据集提供准确性保障。本文提出从粗粒度到细粒度的自注意力方法CaFe。该方法同时从**购物意图**和**交互商品**中对用户动态性进行建模，进而显示的从粗粒度到细粒度两个方面学习序列中的蕴含的信息。

《SASRec：基于自注意力机制的序列推荐》transformer最早提出是用在NLP领域做机器翻译的，本文将transformer中的注意力机制用在序列推荐上，**对于给定的物品序列来预测下一个最可能出现的物品是什么**（采用自注意力机制来对用户的历史行为信息建模，提取更为有价值的信息。最后将得到的信息分别与所有的物品embedding内容做内积，根据相关性的大小排序、筛选，得到Top-k个推荐。）。该方法在稀疏和密集数据集上都优于各种先进的序列模型。

本文提出了一种新的学习范式（Loss 损失函数），称为交叉成对排名（CPR），在不知道曝光机制的情况下实现无偏见的推荐。对多个观察到的交互进行采样计算，并将它们的预测的组合来构成训练集放到模型中进行训练。> 换句话说：> 1. CPR的训练集的选择不受曝光机制的影响，可以客观的将难样本对和简单样本对以同样概率被选到。> 2. CPR是一种损失函数，此损失函数中的训练集是通过某种方式得到的。> 3. CPR可以替换任何方法中的损失函数，相当于换了一个内核。

在过去的几年中，出现了大量关于开发推荐系统的神经网络方法的工作。本篇文章主要是**对使用神经网络的推荐模型(称为“神经推荐模型”)进行系统的回顾**。这是当前推荐研究中最热门的话题，近年来不仅有许多令人兴奋的进展，而且显示出成为下一代推荐系统的技术基础的潜力。本篇文章检索最相关的顶级会议如WWW, SIGIR, KDD, ICLR, AAAI, IJCAI, WSDM 和 RecSys, 以及顶级期刊TKDE, TKDD等等。同时，还利用谷歌学术搜索了近期的相关研究。

作者提出一个简化GCN的模型LightGCN，只包含GCN最重要的组成部分，例如领域的聚合，多层传播，抛弃了GCN最常见的**设计-特征转换**和**非线性激活**两个步骤，并且通过在用户-项目交互图上线性传播用户和项目的嵌入来学习它们，最后将所有层上学习到的用户和项目嵌入加权和算作最后的预测得分。

本文是在基于GNN的方法中提出的一种新的对比学习推荐模型。主要考虑了GNN的推荐模型中两种类型的自监督信息，structure-contrastive（结构对比）和prototype-contrastive（语义对比），两个对比学习信息，**使得相似的用户和物品的向量空间更为相似，以捕捉用户和物品的潜在邻里关系，提高了推荐的精度**。通俗点讲：1. 该方法是在LightGCN方法上，将两种信息（图结构信息和语义信息）融合进损失函数中进行整体的训练。2. 两种信息中都采用InfoNCE的方法思想设置其子

基于GNN的推荐系统通常基于空间结构信息对近邻embedding进行聚合，从而忽略了时间序列信息的聚合，本文提出STAM方法根据时间和空间信息对近邻的一阶邻居节点embedding进行聚合，并且此方法可以和其他GNN方法结合，即只修改GNN方法中的聚合函数为STAM即可。

GNN方法是在确定的图结构中，通过迭代计算，最后求出User和item的向量表示。此方法可以用作推荐。

本文提出的MCL方法解决了上述问题。MCL方法是在用其他方法（如：CML、LightGCN、NeuMF等）得到网络中各节点的表示向量后，在进行迭代求解每个节点的向量表示的最优值时，首先挖掘并标记出富含信息的难（正负）样本对，然后为难样本分配更多的权重。加权过程由四个不同的组件组成，并结合了来自其他用户的距离信息，使模型能够更好地学习的表征。

快手公司与中科大合作产出的资源型论文，即发布了一个几乎全是观测值的稠密数据集KuaiRec，该数据集包含了1411个用户对3327个短视频的交互行为，稠密度高达99.6%（一般推荐系统公开数据集的稠密度在1%以下）。该数据集可用于离线的A/B测试，以及可用于无偏推荐、交互式/对话推荐或者是基于强化学习推荐等方向。

Graph Attention Networks（图注意力网络）

#Reading Paper# Learning Graph Meta Embeddings for Cold-Start Ads in Click-Through Rate Prediction（基于图神经网络和元学习的冷启动推荐算法）

Transformer 和 BERT 等顺序深度学习模型的最新进展极大地促进了顺序推荐。然而，根据我们的研究，这些模型生成的项目嵌入的分布倾向于退化为各向异性的形状，这可能导致嵌入之间的语义相似性很高。在本文中，首先提供了对该表示退化问题的实证和理论研究，在此基础上提出了一种新颖的推荐模型 DuoRec 来改善项目嵌入分布。具体来说，鉴于对比学习的均匀性，为 DuoRec 设计了对比正则化来重塑序列表示的分布。鉴于推荐任务是通过点积测量同一空间中序列表示和项目嵌入之间的相似性来执行的，正则化可以隐式应用于项