单机单卡和单机多卡性能对比（自测，记录）

置顶 于 2023-12-22 18:21:09 发布
阅读量575 收藏 9
点赞数 14
分类专栏： SD，AIGC，多模态 服务器使用 文章标签： python 深度学习 计算机视觉 服务器 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43725659/article/details/135158884
版权

单机单卡和单机多卡性能对比

本文针对人脸检测项目内容对单机单卡和单机多卡在性能做简单测评
任务：人脸检测
算法：DamoFD
设备： 1 * A100 * 80G ， 4 * A100 * 80G
环境：pytorch1.11
数据集：卡通人脸10000张，项目数据验证机123张
模型：单卡和4卡在DamoFD80个epoch的onnx权重
评测指标：Precision,Recall,F1
在这里插入图片描述

在这里插入图片描述

单机单卡在123张数据的指标

在这里插入图片描述

单机多卡在123张数据的指标

在这里插入图片描述

单机单卡在10000张卡通数据的指标

在这里插入图片描述

单机多卡在10000张卡通数据的指标

在这里插入图片描述

结果

从两批数据上我们不难看出单机多卡的性能是优于单机多卡的，事实上也确实如此。博主在对数据测评后发现，单机单卡的误报比较少，但召回低很多，在小目标上比原论文差，对动漫数据的准确率较高。单机多卡准确率略低一点，但对小目标的召回以及卡通数据的泛化性上都优于单机单卡。

致命扼腕
关注
  • 14
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
分布式训练 - 单机多卡（DP和DDP）
love1005lin的博客
05-04 1万+
起初为调用大规模的模型训练，单卡GPU是不够使用的，需要借用服务器的多GPU使用。就会涉及到单机多卡，多机多卡的使用。在这里记录一下使用的方式和踩过的一些坑。文中若有不足，请多多指正。 由于分布式的内容较多，笔者准备分几篇来讲一次下深度学习的分布式训练，深度学习的框架使用的是Pytorch框架。 ----1.分布式训练的理论基础 ----2.GPU训练 ----3.单机多卡的使用 ----4.多机多卡的使用 在GPU训练文章中我们已经了解到了多GPU的训练，最简单的是单机多卡操作torch.nn.DataP
基于pytorch的单机多卡分布式训练源码
最新发布
09-06
基于pytorch的单机多卡分布式训练源码，已经测试可用，找了很多资料，这个可以完美适用于单机多卡的训练。 注意，是非常完美地适用于单机多卡的训练！！！
A100单机多卡大模型训练踩坑记录（CUDA环境、多GPU卡住且显存100%）
木尧大兄弟
04-28 7446
大模型A100单机多卡训练踩坑记录
【深度学习】多卡训练__单机多GPU方法详解（torch.nn.DataParallel、torch.distributed）
weixin_44955407的博客
06-06 3532
多GPU训练能够加快模型的训练速度，而且在单卡上不能训练的模型可以使用多个小卡达到训练的目的。多GPU训练可以分为单机多卡和多机多卡这两种，后面一种也就是分布式训练——训练方式比较麻烦，而且要关注的性能问题也有很多，据网上的资料有人建议能单机训练最好单机训练，不要使用多机训练。本文主要对单机多卡训练的实现展开说明。
pytorch GPU分布式训练 单机单卡、单机多卡
hihui1231的博客
11-02 5328
GPU分布式训练
pytorch单机多卡训练--完整示例代码
升级打怪记录
06-21 6326
实现了多卡训练中数据的 shuffle 功能，此外，为了保证每个epoch训练中，数据shuffle成功，需要在每个 epoch 的 dataloader 前调用。在多人共用多卡的情况下，并不是任何时刻每张卡都是空闲的，因此，在模型训练和推理时，需要指定可用的gpu。如上所示，每个gpu的一个 batch size 为32，如果gpu的可用数量为4，那么有效的 batch size 为 32 x 4；若一个服务器上有多个GPU设备，可以使用多GPU设备进行训练，充分利用多GPU计算的性能，缩短训练时长。
pytorch中的单机多卡和多机多卡
liguandong
09-22 3793
pytorch 单机多卡的正确打开方式pytorch 使用单机多卡，大体上有两种方式简单方便的 torch.nn.DataParallel(很 low，但是真的很简单很友好)使用 torch.distributed 加速并行训练(推荐，但是不友好)首先讲一下这两种方式分别的优缺点nn.DataParallel优点：就是简单缺点就是：所有的数据要先load到主GPU上，然后再分发给每个GPU去train，注意这时候主GPU的显存占用很大，你想提升batch_size,那你的主GPU就会限制。
保姆教程白嫖GPU T4*2！Kaggle实现chatglm微调任务-单机多卡训练测试
05-27
利用Kaggle的GPU T4*2资源进行单机双卡训练微调Chatglm模型，最后进行本地CPU运行验证。
5G多卡聚合测试-深圳高新科技生态园.mp4
07-30
5G多卡聚合测试-深圳高新科技生态园.mp4
Resnet实战：单机多卡DDP方式、混合精度训练
04-15
本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，模型使用最经典的resnet50，演示如何实现混合精度训练以及如何使用DDP的方式实现多卡并行训练。 通过本文你和学到： 1、如何使用混合精度训练...
mmdetectionv1.0.0-选择几张卡训练一个模型，单机多卡开多个训练任务(还有问题)—修改config-batch图像数目，学习率下降等–训练期间测试开启-训练灰度
12-22
训练灰度 如果你想训练灰度图，在这个版本，你应该： mmdetection/mmdet/datasets/pipelines/loading.py @PIPELINES.register_module class LoadImageFromFile(object): def __init__(self, to_float32=...
单机单卡，单机多卡，多机多卡训练代码
weixin_41012399的博客
12-12 2505
pytorch并行后，假设batchsize设置为64，表示每张并行使用的GPU都使用batchsize=64来计算（单张卡使用时，使用batchsize=64比较合适时，多张卡并行时，batchsize仍为64比较合适，而不是64*并行卡数）。后面还可以用torch.nn.DataParallel(model, device_ids=[1, 2])进行指定，但是必须包含set_device(1)指定的device:1的设备，缺点是仍然会存在占用一些device:0的gpu内存；
PyTorch~单机多卡
whaosoft143ai的博客
01-01 2068
在 1.0 之后，官方终于对分布式的常用方法进行了封装，支持 all-reduce，broadcast，send 和 receive 等等。通过 MPI 实现 CPU 通信，通过 NCCL 实现 GPU 通信。官方也曾经提到用。whaosoft aiot http://143ai.com
什么是worker；什么是 “单机单worker”、 “单机多worker”、“单机多卡”
qq_41764621的博客
11-02 982
1. worker 是一个分布式概念，在(nts)等通用的含义是 ：一个CPU和一个GPU 组成一个worker 搭配用于训练。多机多worker（简称“多机”）：多个worker 一起训练，每个worker还是一个CPU配合一个GPU训练。2. 单机单worker（简称"单机"）: 一个CPU 一个 GPU一起配合进行训练。单机多卡：一个CPU 多个 GPU一起配合进行训练。3. nts 中的MPI是用于连接多个worker的 ~
GPU单机单卡/单机多卡/多机单卡/多机多卡的实现过程
张金玉的专栏
07-20 7743
一单机单卡 # -*- coding: UTF-8 -*- #单机单卡 #对于单机单卡，可以吧参数和计算都定义再GPU上，不过如果参数模型比较大，显存不足等，就得放在CPU上 import tensorflow as tf with tf.device("/cpu:0"): #也可以放在GPU上 w = tf.get_variable('w', (2,2), tf.float32, i...
【分布式训练】单机多卡（一）：理论基础
sage_wang的博客
07-13 714
最近由于有模型训练的任务，老板对已有的单机单卡模型训练的时间不满意，觉得炼丹周期太长，让我用单机多卡来对模型训练进行优化加速。这两天看了点知乎、csdn、stackoverflow上面相关的文章和问题，发现里面的坑还不少。 今天，我就给大家排排坑，介绍一下如何将已有的模型训练转成单机多卡的形式，来进行分布式训练。 1、总分 分布式训练分为这几类： l按照并行方式来分：模型并行 vs 数据并行 l按照更新方式来分：同步更新 vs 异步更新 l按照分布式训练系统架构来分：Parameter Server Arc
tensonflow实现单机多卡GPU
qikaihuting的博客
10-13 1638
思想 采用数据并行传输到多卡中，优化过程中进行合并，主要是每张GPU梯度的合并 话不多说，上代码 #coding=utf-8 from __future__ import absolute_import, division, print_function import os import sys import csv import cv2 import time import random ...
【Python-单机单卡、单机多卡、多机多卡】训练自己的数据集——数据读取、处理、训练、测试、可视化、Debug
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
07-15 3474
转载 https://blog.csdn.net/renhanchi/article/details/79570665 Github代码地址：https://github.com/HandsomeHans/Tensorflow-preprocessing-training-testing所有代码去Github上拿吧，文件名对应好。TF版
PyTorch 分布式训练DDP 单机多卡快速上手
热门推荐
weixin_44966641的博客
12-11 1万+
PyTorch 单机多卡快速上手 本文旨在帮助新人快速上手最有效的 PyTorch 单机多卡训练，对于 PyTorch 分布式训练的理论介绍、多方案对比，本文不做详细介绍，有兴趣的读者可参考： [分布式训练] 单机多卡的正确打开方式：理论基础 当代研究生应当掌握的并行训练方法（单机多卡） DP与DDP 我们知道 PyTorch 本身对于单机多卡提供了两种实现方式 DataParallel（DP）：Parameter Server模式，一张卡位reducer，实现也超级简单，一行代码。 Distribute
单机单卡分布式运行和单机多卡分布式运行区别
06-01
单机单卡分布式运行和单机多卡分布式运行都是将一台计算机的资源进行分布式利用的方式，但它们之间有一些区别： 1. 使用的设备数量不同：单机单卡分布式运行只使用一台计算机上的一张显卡进行计算，而单机多卡分布式运行可以同时使用一台计算机上的多张显卡进行计算。 2. 数据划分方法不同：单机单卡分布式运行需要将数据集划分成多个子集，每个程序实例使用一个子集进行训练。而单机多卡分布式运行不需要进行数据集的划分，可以将整个数据集同时放入多个显卡中进行训练。 3. 程序实现方式不同：单机单卡分布式运行需要通过启动多个相同的程序实例来进行分布式训练，而单机多卡分布式运行可以通过使用多线程或多进程来实现分布式训练。 4. 训练效率和速度不同：单机多卡分布式运行相对于单机单卡分布式运行可以更加充分地利用计算机资源，从而提高训练效率和速度。 总之，单机单卡分布式运行和单机多卡分布式运行都是将一台计算机的资源进行分布式利用的方式，它们之间的区别主要在于使用的设备数量、数据划分方法、程序实现方式和训练效率和速度等方面。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

致命扼腕

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值