CRW__DREAM的博客

本文提出了一种具有**局部**和**全局**注意模块的混合注意网络(MAN)来提取特定领域和跨领域的信息。首先，提出了一个**局部/全局编码层**来捕获特定领域/跨领域的序列模式。在此基础上，提出了一个包含**项目相似度、序列融合和群体原型**的混合注意层，用于捕获局部/全局项目相似度，融合局部/全局项目序列，并分别提取不同领域的用户群体。最后，提出了一个局部/全局预测层，以进一步发展和结合特定领域和跨领域的兴趣。进一步的研究还表明，提出的方法和组件分别是模型无关的和有效的。

KDD‘2022 最佳论文：HyperSCI_基于超边的因果推断模型。该模型具体通过聚合混杂因子（利用MLP）和高阶干涉（利用注意力机制修正超边中的节点信息、利用多层图卷积网络进行迭代训练）的两部分节点向量表征进而得到ITE

本篇文章是香港中文大学和华为诺亚实验室联合发布的一篇基于将user-item-KG组合起来形成三部图，在双曲空间依靠洛伦兹模型进行图表征学习的模型，此外，文章还提出了一个知识感知的注意力模型来自动度量不同信息的贡献。

这是阿里发表的关于神经网络中网络参数自适应生成的文章，不仅可以做到不同的样本有不同的网络参数，同时通过拆分矩阵等操作大大提升了推理性能。

基于GNN的推荐系统通常基于空间结构信息对近邻embedding进行聚合，从而忽略了时间序列信息的聚合，本文提出STAM方法根据时间和空间信息对近邻的一阶邻居节点embedding进行聚合，并且此方法可以和其他GNN方法结合，即只修改GNN方法中的聚合函数为STAM即可。

本文提出的MCL方法解决了上述问题。MCL方法是在用其他方法（如：CML、LightGCN、NeuMF等）得到网络中各节点的表示向量后，在进行迭代求解每个节点的向量表示的最优值时，首先挖掘并标记出富含信息的难（正负）样本对，然后为难样本分配更多的权重。加权过程由四个不同的组件组成，并结合了来自其他用户的距离信息，使模型能够更好地学习的表征。

Transformer 和 BERT 等顺序深度学习模型的最新进展极大地促进了顺序推荐。然而，根据我们的研究，这些模型生成的项目嵌入的分布倾向于退化为各向异性的形状，这可能导致嵌入之间的语义相似性很高。在本文中，首先提供了对该表示退化问题的实证和理论研究，在此基础上提出了一种新颖的推荐模型 DuoRec 来改善项目嵌入分布。具体来说，鉴于对比学习的均匀性，为 DuoRec 设计了对比正则化来重塑序列表示的分布。鉴于推荐任务是通过点积测量同一空间中序列表示和项目嵌入之间的相似性来执行的，正则化可以隐式应用于项

快手公司与中科大合作产出的资源型论文，即发布了一个几乎全是观测值的稠密数据集KuaiRec，该数据集包含了1411个用户对3327个短视频的交互行为，稠密度高达99.6%（一般推荐系统公开数据集的稠密度在1%以下）。该数据集可用于离线的A/B测试，以及可用于无偏推荐、交互式/对话推荐或者是基于强化学习推荐等方向。

#Reading Paper# Learning Graph Meta Embeddings for Cold-Start Ads in Click-Through Rate Prediction（基于图神经网络和元学习的冷启动推荐算法）

Graph Attention Networks（图注意力网络）