关于multi-GPU训练的终结篇——以NCF为例

最新推荐文章于 2023-10-30 17:22:38 发布
最新推荐文章于 2023-10-30 17:22:38 发布
阅读量768 收藏 1
点赞数 2
分类专栏： NLP与推荐算法 文章标签： NCF multi-GPU 召回 tf
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SPESEG/article/details/112370548
版权

hi各位大佬关注我很久了都会发现我有很多悬而未决的坑，自己挖好的，现在是时候解决了。关于Multi-GPU的相关探索博文，如下：为啥不会并行？为啥子那么难改呢？卧槽。目前我也一直在搞这个破事，主要是严重限制生产力的发展了。为了应对日活千万的数据量，必须有Multi-GPU，这个月搞不定，卷铺盖滚蛋吧。

For Recommendation in Deep learning QQ Group 102948747

For Visual in deep learning QQ Group 629530787

I'm here waiting for you

不接受这个网页的私聊/私信！！！

现在一直在进行的值官方给出的一个NCF，这是做推荐的，我原想着直接clone下来就能用，这怎么可能呢？这是不现实的，很多东西总是有坑存在的，因为有坑，才有坑，不然大家就真的copy-paste，还要这么多人搬砖干啥？？全都回家种地吧。详情查看

了解本专栏 订阅专栏 解锁全文 超级会员免费看
小李飞刀李寻欢
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
订阅专栏
目标检测的Tricks | 【Trick12】分布式训练（Multi-GPU）与DistributedParallel使用相关总结
Clichong
04-23 1512
如有错误，恳请指出。 用这篇博客记录多卡（也就是mutil-gpu）的使用，目的是加快训练过程，在pytorch中称之为分布式训练。在pytorch中主要使用的是DistributedParallel的相关函数来实现分布式训练。 下面就记录一下我设置gpu等方面的一些笔记，比较多的部分是从其他笔记整理而来，详细见参考资料。 文章目录1. 设置可见GPU，进行多显卡深度学习训练2. 一些标志位的设置3. 多卡训练且平均数据DataParallel4. 分布式训练DistributedParallel5. .
基于NVIDIA Multi-GPU技术的CUDA多GPU编程入门
weixin_39160518的博客
07-17 1万+
       由于最近新买了4个GPU而开始接触学习GPU编程，因为我原来的程序使用的是C++语言，故在仅仅看完Nvidia官网Mark Harris写的一篇简短的An Even Easier Introduction to CUDA后开始琢磨如何使用多个GPU同时计算来进一步加速程序。         在查找有关资料和官方手册后，了解到Nvidia有专门的SLI Multi-GPU技术来实现这...
Multi-gpu问题（1）
最新发布
qq_43594926的博客
10-30 134
_mul24提供了传统32位乘法的24位整数乘法，相比于12个时钟周期，__fdividef执行20个时钟周期的单精度浮点除法，优于划分浮点值[1]通常需要的36个时钟周期。，num_gpus -1）上的磁场和电场分量需要分别来自设备k+1和k-1的场值，因此我们需要在多GPU域分解边界上增加额外的nx×ny细胞来存储这些数据。域在z方向划分为num_gpus段，其中num_gpus表示可用GPU的数量，然后每个GPU相应地负责一个大小为nx×ny×（nz/num_gpus）的子域。
NVIDIA英伟达的Multi-GPU多卡通信框架NCCL
weixin_44966641的博客
09-07 2157
NVIDIA的英伟达Multi-GPU多卡通信框架NCCL 转自：https://www.zhihu.com/question/63219175/answer/206697974 NCCL是Nvidia Collective multi-GPU Communication Library的简称，它是一个实现多GPU的collective communication通信（all-gather, reduce, broadcast）库，Nvidia做了很多优化，以在PCIe、Nvlink、InfiniBand上
TensorFlow - Multi GPU Computation
roymustang的博客
07-23 385
1多gpu训练预期 两张卡模型3090和4张差距较小 1benchmark模型过于简单，主要时间是cpu和gpu之间的通信时间 2内存速度不快，增加通信时间，主要时间花在通信上 3batchsize不高时，就算修改多显卡有时候也只会用一块 4多显卡要有代码修改优化器 from keras.utils import multi_gpu_model 转载 http://blog.s-schoener.com/2017-12-15-parallel-tensorflow-intro/ 1训练速度与使用的
编程器P800-ISP【使用手册】NCF2961芯片在线烧录指南.pdf
01-01
编程器P800-ISP【使用手册】NCF2961芯片在线烧录指南
NCF：NeuCharFramework模板项目
02-04
NCF-NeuCharFramework NeuCharFramework（NCF）是一个集成可用于内置基础项目的框架，包含基础的缓存，数据库，模型，验证和配套管理后台，可以，具有高度的可扩展性。 当前版本： 0.2.0-beta6 注意 NCF由盛派...
CJ1W-NCF71 位置控制単元 操作手册 .pdf
08-12
CJ1W-NCF71 位置控制単元 操作手册 .pdf
CA-NCF
02-22
CA-NCF CA-NCF是一种算法，是在称为的预过滤上下文合并方法与用于推荐的称为神经协作过滤的NN协作过滤方法之间的混合。 要运行此示例，您需要执行以下操作： 安装 BigDL 使用运行 使文件夹的根目录下，一旦你...
Basic-NCF-Demo.zip
08-23
《基于Tensorflow的推荐系统——NCF模型实战详解》 推荐系统是现代互联网服务中不可或缺的一部分，它能够根据用户的历史行为和偏好，为用户个性化推荐感兴趣的内容或产品。本实践项目利用Tensorflow框架构建了一个...
基于tensorflow的深度学习MultiGPU训练实战
热门推荐
lqfarmer的博客
04-21 2万+
进行深度学习模型训练的时候，一般使用GPU来进行加速，当训练样本只有百万级别的时候，单卡GPU通常就能满足我们的需求，但是当训练样本量达到上千万，上亿级别之后，单卡训练耗时很长，这个时候通常需要采用多机多卡加速。深度学习多卡训练常见有两种方式，一种是数据并行化（data parallelism），另外一种是模型并行化（model parallelism）。 数据并行化：每个GPU上面跑一
pytorch多GPU训练方式 Multi GPU
Tsingzao的博客
11-04 1476
1、首先定义模型 import torch.nn as nn class Net(nn.Module): def __init__(self): pass def forward(self, x): pass 2、利用DataParallel分布式存储数据和模型 gpuID = '0,1,2,3,4,5,6,7' device_ids =...
tensorflow学习笔记(十八):Multiple GPUs
Keith
11-11 8282
Distribuited tensorflowMultiple GPUs如何设置训练系统(1)每个GPU上都会有model的副本 (2)对模型的参数进行同步更新抽象名词 计算单个副本inference和 gradients 的函数称之为tower,使用tf.name_scope()为tower中的每个op_name加上前缀 使用tf.device('/gpu:0') 来指定tower中op的运算设
caffe中多GPU的使用方法
jasonzzj的博客
11-26 1万+
由于在ubuntu中使用caffe的程序时，都使用.sh文件，该文件中常见的命令为：./build/tools/caffe train --solver=examples/testXXX/solver.prototxt当电脑中有多个GPU时，默认使用GPU0。如果想使用其他的GPU，可以将该文件内容修改如下：./build/tools/caffe train --solver=examples/te
深度学习GPU卡的理解(二)
深藏功与名
12-26 3402
继续搬砖第二篇 《How To Build and Use a Multi GPU System for Deep Learning》 When I started using GPUs for deep learning my deep learning skills improved quickly. When you can run experiments of algo
Multi-GPU Usage：caffe下的多GPU同时使用
liulinyi007的博客
01-30 3574
最近在跑FCN的时候发现caffe.set_device()只能有一个int参数，导致只能用一个GPU跑，于是开始着手解决。 caffe声明：https://github.com/BVLC/caffe/blob/master/docs/multigpu.md 截图如下： 多GPU接口只支持C/C++，以及训练。 正在绞尽脑汁解决~
利用pytorch实现推荐模型NCF
05-16
NCF是一种基于神经网络的协同过滤推荐模型，它将用户和物品的交互矩阵作为输入，通过神经网络将用户和物品映射到一个低维空间中，并用内积计算两者之间的相关性得分。下面介绍如何使用PyTorch实现NCF推荐模型。 1. 数据预处理 首先，我们需要准备训练数据。通常情况下，训练数据由用户-物品交互矩阵组成，其中每个元素表示用户对某个物品的评分或点击行为。我们可以使用Pandas库读取和处理数据，如下所示： ```python import pandas as pd import numpy as np # 读取数据 data = pd.read_csv('ratings.csv') # 将用户和物品ID映射为连续的整数 user_ids = data['user_id'].unique() user2id = {u: i for i, u in enumerate(user_ids)} item_ids = data['item_id'].unique() item2id = {i: j for j, i in enumerate(item_ids)} data['user_id'] = data['user_id'].apply(lambda x: user2id[x]) data['item_id'] = data['item_id'].apply(lambda x: item2id[x]) # 将数据拆分为训练集、验证集和测试集 train_data = data.iloc[:80000] val_data = data.iloc[80000:90000] test_data = data.iloc[90000:] ``` 2. 定义NCF模型 接下来，我们需要定义NCF模型。NCF模型由三个部分组成：用户嵌入层、物品嵌入层和全连接层。用户和物品嵌入层将用户和物品ID映射为低维向量，全连接层将这些向量拼接起来并通过一系列非线性变换得到最终的相关性得分。代码如下所示： ```python import torch import torch.nn as nn class NCF(nn.Module): def __init__(self, num_users, num_items, hidden_size): super(NCF, self).__init__() self.user_embedding = nn.Embedding(num_users, hidden_size) self.item_embedding = nn.Embedding(num_items, hidden_size) self.fc_layers = nn.Sequential( nn.Linear(hidden_size * 2, 64), nn.ReLU(), nn.Linear(64, 1), nn.Sigmoid() ) def forward(self, user_ids, item_ids): user_vectors = self.user_embedding(user_ids) item_vectors = self.item_embedding(item_ids) vectors = torch.cat([user_vectors, item_vectors], dim=1) scores = self.fc_layers(vectors) return scores ``` 3. 定义训练和评估函数 接下来，我们需要定义训练和评估函数。训练函数将训练数据输入模型，计算损失并根据损失更新模型参数。评估函数将验证集输入模型，计算预测得分并计算评估指标（如准确率、召回率、F1值等）。代码如下所示： ```python def train(model, train_data, val_data, num_epochs, batch_size, lr): criterion = nn.BCELoss() optimizer = torch.optim.Adam(model.parameters(), lr=lr) for epoch in range(num_epochs): model.train() total_loss = 0.0 for i in range(0, len(train_data), batch_size): batch_data = train_data.iloc[i:i+batch_size] user_ids = torch.LongTensor(batch_data['user_id'].values) item_ids = torch.LongTensor(batch_data['item_id'].values) labels = torch.FloatTensor(batch_data['rating'].values) optimizer.zero_grad() outputs = model(user_ids, item_ids) loss = criterion(outputs.squeeze(), labels) loss.backward() optimizer.step() total_loss += loss.item() * len(batch_data) print('Epoch %d, train loss: %.4f' % (epoch+1, total_loss / len(train_data))) evaluate(model, val_data) def evaluate(model, val_data): model.eval() user_ids = torch.LongTensor(val_data['user_id'].values) item_ids = torch.LongTensor(val_data['item_id'].values) labels = val_data['rating'].values with torch.no_grad(): outputs = model(user_ids, item_ids) scores = outputs.squeeze().numpy() predictions = (scores >= 0.5).astype(int) accuracy = np.mean(predictions == labels) print('Accuracy: %.4f' % accuracy) ``` 4. 训练和评估模型 最后，我们可以使用训练和评估函数训练和评估NCF模型。代码如下所示： ```python num_users = len(user_ids) num_items = len(item_ids) hidden_size = 64 model = NCF(num_users, num_items, hidden_size) train(model, train_data, val_data, num_epochs=10, batch_size=256, lr=0.001) evaluate(model, test_data) ``` 运行以上代码，即可训练和评估NCF推荐模型。需要注意的是，NCF模型的训练非常耗时，建议使用GPU进行加速。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小李飞刀李寻欢

您的欣赏将是我奋斗路上的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值