STAR-GCN: Stacked and Reconstructed Graph Convolutional Networks for Recommender Systems 论文阅读

最新推荐文章于 2023-05-06 17:02:51 发布
最新推荐文章于 2023-05-06 17:02:51 发布
阅读量705 收藏 1
点赞数
分类专栏： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hhmy77/article/details/116354023
版权

文章目录

本文首发于公众号：code路漫漫，欢迎关注
在这里插入图片描述

Motivation

以往的GC-MC模型效果虽然很好，但是它存在以下不足：

  1. 使用 one-hot 向量作为节点输入，导致输入维度和结点总数成比例，从而无法应用在大规模数据上
  2. 无法处理冷启动任务，因为不能将一个未知节点（新结点）表示为 one-hot vector

本论文针对冷启动场景，提出了 STAcked and Reconstructed Graph Convolutional Networks 架构，简称 STAR-GCN
STAR-GCN的特点是堆叠由 encoder-decoder 组成的 block
在这里插入图片描述

Contribution

STAR-GCN存在以下特点：

  1. 直接学习低维的用户和物品embedding作为网络的输入
  2. 在训练阶段遮挡结点的embedding（设置为0），然后通过由 encoder-decoder 组成的block去重构遮挡结点的embedding，这么做是模仿冷启动问题中新输入结点embedding为0的情形。本方法受到NLP中Bert的启发
  3. 引入中间监督
  4. 提出了sample-and-remove策略去缓解标签泄露问题

在这里插入图片描述
如图所示，Transductive rating prediction 是传统的预测任务，其预测节点在训练图中是可见的，而 Inductive rating prediction 是冷启动性质的预测任务，特点是预测节点在训练图中不可见

本论文在两个任务上做了实验，均达到了最优性能

论文新颖的地方在于针对冷启动场景做了优化

model由block组成，block由encoder和decoder组成
encoder：生成node的表示；使用与GC-MC相似的aggregator
decoder：由于论文针对冷启动场景优化，掩盖了部分结点，其embedding值为0，相当于模拟冷启动场景新结点进入的场景，论文提出了decoder去重构掩盖结点的embedding，相当于训练模型时也考虑了冷启动场景；两层神经网络作为decoder

论文对标签泄露导致过拟合问题提出了sample-and-remove策略

Solution

图的结构

STAR-GCN是由一系列的block堆叠而成，每一个block里面包含了encoder和decoder，它们的作用分别为：

  1. encoder：生成节点表示（通过编码图结构语义和输入内容特征来生成）
  2. decoder：恢复输入节点的embedding
    它们也有各自的损失函数
  3. encoder：task-specific loss
  4. decoder：reconstruction loss

STAR-GCN支持两种方式堆叠block：
5. stacking：连续放置block，独立参数
6. recurrence：展开一个block，共享参数

在这里插入图片描述
再放一下block的组成，图中说明了loss和堆叠方式
在这里插入图片描述

输入节点表示方式

如果直接将input node转换成embedding，就无法处理冷启动问题，因为我们没办法得到新节点的embedding（大意是这样）
论文采用了一个 mask node 策略去生成节点的表示，对于masked node，将它的embedding设为0，对于其它node，不做任何处理。在训练过程中，decoder负责重构masked node的embedding
这个 mask node 策略有两个优势：

  1. 对于冷启动场景，将新结点的embedding设为0，然后传入网络。这和训练时部分掩盖结点的操作一样。所以模型能处理冷启动场景
  2. 通过mask策略训练能够提高模型的效果

如果node具有额外的特征信息可以使用，那么把这些特征传给一个独立的网络，然后将特征embedding和node embedding拼接在一起得到最后的表示
在这里插入图片描述

Encoder和Decoder的说明

encoder

encoder负责聚合邻居节点的信息，这里aggregator和GC-MC的相似，具体细节在文中公式1给出
在这里插入图片描述

decoder

decoder将structural-encoded node representation 映射到 reconstructed embedding vector上，使用两层神经网络作为decoder

encoder-decoder和其它graph auto-encoder model不同的地方主要在于decoder
本论文的decoder恢复最初的输入结点向量，其它论文的decoder是特殊任务的分类器用于产生预测
另一个不同的地方在于我们的graph aggregator 考虑不同类型的链接，其它的aggregator只对单个链接建模

Loss

上面的是针对特定任务的loss，是encoder的loss
下面的是重构结点的loss，是decoder的loss
在这里插入图片描述

避免标签泄露

标签泄漏问题会导致过拟合，由于GCN中neighborhood aggregation operator的存在导致标签泄漏问题很常见，我们要预测的评分被聚合到结点表示里面了，如图3，为了避免标签泄漏问题，我们提出了 sample-and-remove 训练策略，简而言之就是移除要预测的边
在这里插入图片描述

Evaluation

数据集：
在这里插入图片描述
评价指标RMSE

Transductive Rating Prediction

与baseline的比较，这里的baseline的指标直接沿用GC-MC的
在这里插入图片描述

与本论文做消融实验
在这里插入图片描述
在这里插入图片描述

Inductive Rating Prediction

在这里插入图片描述
这里就用了两个baseline，一个DropoutNet，另一个CDL
这个20%item 和 user的意思是数据集中有20%的结点是从未见过的
下面的比例是表示表示新结点有多少比例的边可以供参考，50%是指一个新结点一半的边是可见的
论文说 reconstruction mechanism 机制对提升模型效果显著。另一个有趣的发现是使用 content information 来预测新结点不一定有帮助，可能的原因是重构机制已经包含了足够多的信息

Summarization

论文引入了一个新的基于GCN的框架，在transductive和inductive两个任务上达到了SOTA效果
STAR-GCN的框架是通用的，可以使用在其它应用上
论文还发现了标签泄露导致过拟合这一问题，并提出了相应的缓解策略

hhmy77
关注
专栏目录
图神经网络（十三）AM-GCN: Adaptive Multi-channel Graph Convolutional Networks
码匀的博客
03-18 1463
本文是发表在KDD2020上的一篇文章，作者是北京邮电大学的王啸老师。现有的GCN往往是简单的聚合结构邻域的特征信息，然而GCN可能不能自适应地学习拓扑结构和节点特征之间的深层关联信息，这一弱点可能会严重阻碍GCN在某些分类任务中的能力。本文的作者提出了一种用于半监督分类的自适应多通道图卷积网络(AM-GCN)，该网络既能保留现有GCN的优点，同时又能大大增强其融合拓扑结构和节点特征的能力，其核心思想是同时从节点特征、拓扑结构和它们的组合中提取特定的和共同的嵌入，并使用注意力机制来学习嵌入的自适应重要性权重
Geom-GCN: Geometric Graph Convolutional Networks
weixin_45519842的博客
01-30 3112
作者: 纪厚业,北京邮电大学博士生,主要关注异质图神经网络及其应用. Geom-GCN: Geometric Graph Convolutional Networks 知乎专栏对公式支持较好, 见 https://zhuanlan.zhihu.com/c_1158788280744173568 个人公众号 图与推荐 Introduction 图神经网络（Graph Neural Network...
STAR-GCN：用于推荐系统的图卷积神经网络 IJCAI 2019
u013602059的专栏
07-26 3279
论文链接：https://www.ijcai.org/Proceedings/2019/0592.pdf 代码链接：https://github.com/jennyzhang0215/STAR-GCN 论文来源：IJCAI 2019 摘要 文章针对推荐系统提出了一种新的堆叠和重构图卷积网络(STAR-GCN)结构来学习节点的表征，提高推荐系统的效率，特别是在冷启动场景。STAR-GCN采用一堆GCN编码器/解码器与中间监督相结合，以提高最终预测性能。同图卷积矩阵分解模型用one-hot节点作为输入不同，S.
论文笔记《STAR-GCN: Stacked and Reconstructed Graph Convolutional Networks for Recommender Systems》
zuolixiangfisher的博客
12-21 2722
摘要 文章针对推荐系统提出了一种新的堆叠和重构图卷积网络(STAR-GCN)结构来学习节点的表征，提高推荐系统的效率，特别是在冷启动场景。STAR-GCN采用一堆GCN编码器/解码器与中间监督相结合，以提高最终预测性能。同图卷积矩阵分解模型用one-hot节点作为输入不同，STAR-GCN学习低维的user、item 隐表征作为输入来限制模型的空间复杂度。STAR-GCN可以通过重建屏蔽的输入节点...
论文笔记：IJCAL 2019 STAR-GCN: Stacked and Reconstructed Graph Convolutional Networks for Recommender Sys
qq_44015059的博客
09-27 1277
前言 文章针对推荐系统提出了一种新的堆叠和重构图卷积网络(STAR-GCN)结构来学习节点的表征，提高推荐系统的效率，特别是在冷启动场景。STAR-GCN采用一堆GCN编码器/解码器与中间监督相结合，以提高最终预测性能。同图卷积矩阵分解模型用one-hot节点作为输入不同，STAR-GCN学习低维的user、item 隐表征作为输入来限制模型的空间复杂度。STAR-GCN可以通过重建屏蔽的输入节点表征来为新节点生成节点表征，这本质上解决了冷启动问题 。文章在为链接预测任务训练基于GCN的模型时发现标签泄漏问
论文阅读【Knowledge Graph Convolutional Networks for Recommender Systems】
m0_51494257的博客
03-27 370
build_model(n_user, n_entity, n_relation) # 构建模型，在此生成embeddding user_emb_matrix（用户矩阵，大小：用户数*32）、entity_emb_matrix（实体矩阵，大小：实体书*32）、relation_emb_matrix（关系矩阵，大小：关系数*32）。对于N（v）中的每个实体e，其和项目vj的关系得到r，继而得到r和用户u的关系。将这些得到关系进行正则化，就可以得到实体e，e和项目v的关系r和用户u的关系。
阅读总结：《Graph Convolutional Neural Networks for Web-Scale Recommender Systems》
weixin_41206992的博客
10-08 689
Graph Convolutional Neural Networks for Web-Scale Recommender Systems 主要内容概括： 1、 模型： 优化： 大部分译文： 摘要： 图结构的深度神经网络在推荐系统应用中最近已经有很好的表现。然而，使这些方法变得实用，对于拥有千万物品和一亿用户的网络推荐系统，还有挑战。我们阐述了一个发展和应用在Pinterest上的大规...
2019-STAR-GCN, Stacked and Reconstructed Graph Convolutional Net
08-04
STAR-GCN：Stacked and Reconstructed Graph Convolutional Networks for Recommender Systems STAR-GCN是一种新的图卷积神经网络架构，旨在学习节点表示来提高推荐系统的性能，特别是在冷启动场景下。 STAR-GCN...
【点云系列】view-GCN: view-based Graph Convolutional Network for 3D Shape Analysis
weixin_43882112的博客
09-10 2085
文章目录题目Motivation 题目 论文题目：view-GCN: view-based Graph Convolutional Network for 3D Shape Analysis 论文： 代码； Motivation 不同视角下看不同物体可能是不同的。
【论文学习】ST-GCN：Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition
LoveKKarlie_的博客
03-02 1826
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition；AAAI2018；基于skeleton动作识别的时空图卷积网络；提出了一种基于图的神经网络动态骨架建模方法时空图卷积网络ST-GCN；针对骨架建模的具体要求，提出了ST-GCN中卷积核的设计原则。
GGNN和GCN的几篇论文笔记
03-10
GGNN和GCN的几篇论文笔记，介绍常用的两种图神经网络。个人笔记。
GNN在推荐系统的应用——＞GC-MC与STAR-GCN
weixin_43845522的博客
04-13 2826
GNN ——> 推荐系统（两个算法） 文章目录GNN ——> 推荐系统（两个算法）前言一、GC-MC1、总体结构2、Graph Encoder部分3、Graph Decoder部分4、损失函数5、实验结果6、不足二、STAR-GCN1、总体架构（比较）2、Transductive 和 Inductive（归纳和直推）如何实现直推？——mask3、LOSS部分4、leakage Issue的避免5、实验结果 前言 部分资源来自于Youtube 一、GC-MC 1、总体结构 首先进行one-ho
GCN
travalscx的博客
07-05 655
又是一个提醒我学习的log
阅读：IA-GCN: Interactive Graph Convolutional Network forRecommendation
qq_43532928的博客
06-24 1098
摘要：近年来，图卷积网络(GCN)已成为一种新型的基于协同过滤(CF)的推荐系统(RS)的新技术。通过在用户-项目二部图上进行嵌入传播来学习信息丰富的用户和项目表示方式，然后根据这些表示方式为用户提供个性化的项目建议。尽管现有算法有效，但在嵌入过程中忽略了用户-项目对之间宝贵的交互特征。当预测用户对不同项目的偏好时，他们仍然以相同的方式聚合用户树，而不强调用户社区中的目标相关信息。这种统一的聚合方案很容易导致用户和项目表示的次优，在一定程度上限制了模型的表达性。在这项工作中，我们通过在每个用户-项对之间建立
图神经网络必读的​5个基础模型: GCN, GAT, GraphSAGE, GAE, DiffPool.
最新发布
数据派THU
05-06 5429
来源：机器学习算法那些事 极市平台https://zhuanlan.zhihu.com/p/136521625本文约6000字，建议阅读10分钟本篇文章将从一个更直观的角度对当前经典流行的GNN网络，包括GCN、GraphSAGE、GAT、GAE以及graph pooling策略DiffPool等等做一个简单的小结。“近年来，深度学习领域关于图神经网络（Graph Neural Networks，...
快速了解GCN（图卷积神经网络）
热门推荐
u011537121的博客
08-09 4万+
如何理解 Graph Convolutional Network（GCN）？ https://www.zhihu.com/question/54504471 推荐初学者可以先从知乎的这个问题出发，点赞最多的《从CNN到GCN的联系与区别——GCN从入门到精（fang）通（qi）》 该篇文章非常详细且能够帮助初学者理解的讲述了GCN的大部分理论过程。再补充以后面几人回答的知识，便可以说对GCN有...
推荐系统冷启动技术-研究进展
AI_盲的博客
09-26 4767
最近调研了一些冷启动方案，现汇总如下 商品冷启动 商品冷启动一般在item的embedding上优化 Graph Embedding 在Graph Embedding I2I的基础上，加入商品的Side Information，进一步提升Embedding的泛化学习能力，更好地解决长尾以及商品冷启动问题 《Hybrid Item-Item Recommendation via Semi-...
推荐系统初学者系列（8）-- Graph Embedding（网络嵌入表示）做Top-K推荐
私人天地
06-29 1万+
上一篇：Surprise库做Top-K推荐
【社交推荐图卷积网络】SocialGCN: An Efficient Graph Convolutional Network based Model for Social Recommendation
AnUnverse的博客
02-25 2839
社交图卷积网络：一个有效的基于图卷积网络的社交推荐模型 【摘要】图卷积网络(GCN)利用图结构和节点特征信息对图的信息扩散过程进行建模，取得了良好的效果。基于经典的CF模型，该论文提出的模型的核心思想是借鉴GCNs的优势来捕捉社交网络中社交扩散过程对用户偏好的影响。 【原理】GCNs的关键思想是学习图数据中的迭代卷积运算，其中每个卷积运算都意味着从上一层的局部邻居的集合中产生当前的节点表示，以...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值