SRGNN分布式训练的细节问题

最新推荐文章于 2022-12-08 19:03:32 发布
最新推荐文章于 2022-12-08 19:03:32 发布
阅读量426 收藏
点赞数 2
分类专栏： NLP与推荐算法 文章标签： SRGNN 评价指标 HR 分布式训练 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SPESEG/article/details/117672696
版权
本文探讨了在分布式环境中训练SRGNN模型遇到的问题及解决方案，包括用户序列对应、学习率影响、样本生成与数据加载策略。通过调整，实现了训练速度的提升，但效果仍有波动，提出进一步优化方向。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
小李飞刀李寻欢
关注
专栏目录
订阅专栏
SRGNN模型修改为tf2并进行分布式训练
NLP与推荐算法
06-07 382
For Recommendation in Deep learning QQ Group 102948747 For Visual in deep learning QQ Group629530787 Wanna have a date with someone? Come on, baby .QQ Group737813700 I'm here waiting for you 不接受这个网页的私聊/私信！！ 本宝宝长期征集真实情感经历（发在我公号：美好时光与你同行），长期接受付费咨询（啥问题都可），...
SRGNN数据的分发
NLP与推荐算法
05-31 423
哈喽，各位大佬好，我是菜鸟小明哥。鉴于上一篇博文已经说明一般数据的分发，而在实际中数据的分发并没有那么简单，尤其是在推荐中，样本数据的多样性（不定长，多变量，多类型dtype）给数据分发带来了很大的麻烦，因此本文将进一步探讨，作为一般的方法论。 For Recommendation in Deep learning QQ Group 102948747 For Visual in deep learning QQ Group629530787 Wanna have a date with someo.
推荐系统 - SR GNN架构详解（包含图神经网络GNN和门控图神经网络GGNN的介绍）
热门推荐
马飞飞的博客
08-18 2万+
说明 1.SR-GNN是中科院提出的一种基于会话序列建模的推荐系统，这里所谓的会话是指用户的交互过程（每个会话表示一次用户行为和对应的服务，所以每个用户记录都会构建成一张图），这里说的会话序列应该是专门表示一个用户过往一段时间的交互序列。基于会话的推荐是现在比较常用的一种推荐方式，比较常用的会话推荐包括循环神经网络、马尔科夫链。但是这些常用的会话推荐方式有以下的两个缺点： ...
【论文精读】门控图神经网络GGNN及SRGNN
_Mogician的博客
05-30 9876
GGNN SRGNN是GGNN在推荐系统上的应用，核心网络几乎没有改变。GGNN的核心模型其实非常简单，在计算上和GRU基本没有区别。但为了更好的理解ava_vav​是如何构造出来的，我们还得从最基本的思想讲起。 信息传播 绝大多数GNN的思想在于消息传播(Message Passing)或者说信念传播(Belief Propagation)。很自然的，我们知道一个节点的信息可以根据其邻居节点信息进行更新。 初代GNN 2009年最早的GNN论文1将这个过程抽象为 xn=fw(ln,lco[n],xne
推荐模型-序列推荐-2019：SRGNN
u013250861的博客
11-28 243
推荐模型-序列推荐-2019：SRGNN。
GNN框架之大规模分布式训练！
Datawhale
01-20 860
↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货作者：秦州算法工程师 Datawhale成员引言本文为GNN...
Basic-SRGNN-Demo.zip
最新发布
08-23
《基于Tensorflow的推荐算法实践：Basic-SRGNN-Demo深度解析》 在现代大数据时代，推荐系统已经成为个性化服务的核心技术之一，广泛应用于电商、社交媒体、流媒体等多个领域。本项目"Basic-SRGNN-Demo"是基于...
GCN：分布式训练大规模深度图神经网络
u013250861的博客
12-08 994
的发展将图数据的分析与深度神经网络结合，在越来越多的领域发挥出重要的作用，例如电商推荐、生物化学结构分析、反恐反诈风险控制等等。数据规模也呈现越来越大之势，动辄上千万节点规模的图，让很多图神经网络的训练需要探寻并行计算的方式以加速。然而，图数据与视觉、自然语言等领域的数据不同，没有划分好的训练样本，很多情况下训练样本是从一个巨大的图中去随机采样，特征也需要在采样的过程中遍历邻接节点，这种天然特性使得对大规模图的并行训练并不容易。本期文章将为大家详细描述。幻方AI最近尝试对图神经网络的并行训练进行优化，以。
SRGNN infer阶段终结篇
NLP与推荐算法
12-11 478
嗨，搬砖工起来干活了，加油吧，搬砖人。本文的核心在于解决SRGNN推理慢的问题，读懂代码，将其改成faiss召回，这才是创造性的。 【近期一些paper都已经宣称超越了SRGNN，对此，小明哥持保留意见，直接说就是，不要吹牛逼，能不能落地？速度和内存在DAU千万下能不能行？没公开依旧不可信，公开的也就是个弱的baseline，实际还是很多坑】 For Recommendation in Deep learning QQ Group 277356808 For Visual in deep learni
Sr-gnn
weixin_43951296的博客
11-27 527
sr-gnn用于推荐
SRNN完整源代码
10-24
SRNN源码 完整版，需要学习的同学可以看一下 、
多兴趣模型ComiRec分布式训练
NLP与推荐算法
07-20 453
hi各位大佬好，之前的解读已经详细讲述了，可以参考博文（ComiRec开始，ComiRec提高指标），那么接下来就是工程化的实施了，参考SRGNN分布式训练。 For Recommendation in Deep learning QQ Group 102948747 For Visual in deep learning QQ Group 629530787 I'm here waiting for you不接受这个网页的私聊/私信！！ 本宝宝长期征集真实情感经历（发在我公号：美好时光与你同行），长期.
SRGNN番外篇——我的死磕笔记
NLP与推荐算法
11-13 1431
hi，最初的版本我是用的debias中的，然而这样推理速度有点慢，尽管采用了加速的办法，但仍旧很慢。同时我尝试了官方版本，飞桨版本，然而前者更慢，后者无暴露API，直白的说，达不到推荐的目的（即如何给用户推items列表）。前些日子采用NeuRec做了下GCN，尽管需要改动细微之处，但好歹可以用了。于是乎，也试试SRGNN吧，主要是当前阶段GPU匮乏，GPU严重缺乏，这是目前生产力发展的极大障碍。本文依旧粉丝可见。 For Video Recommendation in Deep learning QQ
再读SRGNN论文之GRU与RNN和LSTM
NLP与推荐算法
01-03 2265
hi主要是没太多时间用来思考，所以很多东西都不是太清楚，只会装逼，这样不好，要从理论/代码上理解到底说的是什么事情，这是科学问题：是什么和为什么？作为搬砖工还是有必要深入了解，不然真的只能搬砖了。可在我的主页搜索相关博文，不再挨个附上。【面试明明是技术面，却总是在问科学的问题，这很扯淡】 For Recommendation in Deep learning QQ Group 102948747 For Visual in deep learning QQ Group629530787 I'm he.
开源 | 基于会话的最优推荐模型：SR-GNN的PaddlePaddle实现
量子位
05-13 734
本文转载自百度 PaddlePaddle百度深度学习平台PaddlePaddle于近期开源了基于会话（session-based）的推荐系统模型（SR-GNN）。相较于之...
SIGIR 2020 TAGNN: Target Attentive Graph Neural Networks for Session-based Recommendation
qq_44015059的博客
02-19 1493
前言 目前已经有很多方法通过将会话建模为序列或图来完成对会话的嵌入，进而对 next-item 进行预测。这些方法将会话压缩为一个固定的表示向量，而不考虑要预测的目标项。之前的大多数方法的出发点就是通过对会话进行嵌入，期望能够捕获到用户意图信息完成对未来可能产生交互物品的预测。 本文的作者认为由于目标物品的多样性和用户的兴趣，固定的向量会限制推荐模型的表示能力。因此在本文中提出了一种新的目标注意图神经网络( TAGNN )模型用于基于会话的推荐。在TAGNN中，目标感知注意自适应地激活了用户对不同目标物品的
论文《TAGNN: Target Atentive Graph Neural Networks for Session-based Recommendation》阅读
wzj1212123的博客
12-31 541
论文《TAGNN: Target Atentive Graph Neural Networks for Session-based Recommendation》阅读论文概况IntroductionMethodA.Constructing Session GraphsB.Learning Item Embeddings on Session GraphsC.Constructing Target-Aware EmbeddingD.Generating Session EmbeddingsE.Making R
torch GNN实现 增加测试、训练代码
05-26
好的，我可以给你提供一个简单的 PyTorch GNN 实现，并且附带训练和测试代码。这个实现是基于 GCN （Graph Convolutional Network）的，你可以根据需要进行改进。 首先，我们需要安装 PyTorch 和 DGL（Deep Graph Library）： ```bash pip install torch dgl ``` 然后，我们可以定义一个简单的 GNN 模型： ```python import torch import torch.nn as nn import dgl.function as fn from dgl.nn.pytorch import GraphConv class GNN(nn.Module): def __init__(self, in_feats, hidden_feats, out_feats): super(GNN, self).__init__() self.conv1 = GraphConv(in_feats, hidden_feats) self.conv2 = GraphConv(hidden_feats, out_feats) def forward(self, g, features): h = self.conv1(g, features) h = torch.relu(h) h = self.conv2(g, h) return h ``` 这个 GNN 模型包含两个 GraphConv 层，每个层都是由输入特征到输出特征的线性变换，然后通过 ReLU 激活函数进行非线性变换。在这个例子中，我们使用了两个 GraphConv 层，但你可以根据需要添加更多层。 接下来，我们可以定义一个简单的训练循环： ```python import dgl import torch.optim as optim def train(model, g, features, labels, train_mask, epochs): optimizer = optim.Adam(model.parameters()) criterion = nn.CrossEntropyLoss() for epoch in range(epochs): model.train() logits = model(g, features) loss = criterion(logits[train_mask], labels[train_mask]) optimizer.zero_grad() loss.backward() optimizer.step() print('Epoch %d | Loss: %.4f' % (epoch, loss.item())) ``` 在这个训练循环中，我们使用 Adam 优化器和交叉熵损失函数对 GNN 进行训练。训练过程中，我们计算模型的预测值（logits），然后根据训练集上的标签和掩码计算交叉熵损失。最后，我们通过反向传播和优化器来更新模型参数。 最后，我们可以定义一个简单的测试函数： ```python import torch.nn.functional as F def test(model, g, features, labels, test_mask): model.eval() with torch.no_grad(): logits = model(g, features) pred = logits.argmax(1) acc = F.accuracy(logits[test_mask], labels[test_mask]) print('Accuracy: %.4f' % acc.item()) ``` 在这个测试函数中，我们首先将模型设置为评估模式，然后使用模型对测试集进行预测。最后，我们计算准确率并输出结果。 现在，我们可以使用这些代码来训练和测试我们的 GNN 模型： ```python import dgl.data dataset = dgl.data.CoraGraphDataset() g = dataset[0] features = g.ndata['feat'] labels = g.ndata['label'] train_mask = g.ndata['train_mask'] test_mask = g.ndata['test_mask'] model = GNN(features.shape[1], 16, dataset.num_classes) train(model, g, features, labels, train_mask, epochs=100) test(model, g, features, labels, test_mask) ``` 在这个例子中，我们使用 Cora 数据集来测试我们的 GNN 模型。训练和测试代码将使用上述函数进行训练和测试，最后输出测试准确率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小李飞刀李寻欢

您的欣赏将是我奋斗路上的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值