GPU
文章平均质量分 70
初窺门径
What R U 嘟鹰 now?
展开
-
Fabric实现多GPU运行
fabric的单机多卡代码修改,官方步骤和个人修改记录.原创 2024-05-14 19:23:18 · 774 阅读 · 0 评论 -
Accelerate多GPUs训练推理在代码中如何使用
主要有四部分:1.使用Accelerate库修改单GPU代码,实现多GPUs训练及推理2.多GPUs训练时设置正确的batch size3.Accelerate参数与混合精度训练4.多GPUs训练时在主进程打印信息。原创 2024-04-03 10:25:53 · 742 阅读 · 0 评论 -
报错:torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
torch.distributed.elastic.multiprocessing.errors.ChildFailedError: 这个主要是torch的gpu版本和cuda不适配。但是我发现下这个也不行,就降低了一个小版本,但还是cu118 就OK了。附个地址,可以去寻找对应的gpu版本torch。一定要cu版本和nvcc 的版本相对应!我的nvcc -V是11.8。原创 2024-03-26 10:44:14 · 3156 阅读 · 0 评论 -
如何查看CUDA算力/内存总量/架构信息等
线程块/网格的最大维度大小分别为(x,y,z)=(1024, 1024, 64)和(x,y,z)=(2147483647, 65535, 65535)。: 最大纹理维度大小为1D=(131072),2D=(131072, 65536),3D=(16384, 16384, 16384)。: 计算模式,默认是多个主机线程可同时使用::cudaSetDevice()来访问设备。: 设备是否支持统一寻址(Unified Addressing),这里是支持的。: 最大内存跨度(pitch)大小(zu为占位符)。原创 2023-11-29 19:44:09 · 2019 阅读 · 0 评论 -
nvidia-smi面板及命令讲解
NVIDIA-SMI: NVIDIA-SMI是NVIDIA显卡的系统管理接口,可以用于获取显卡硬件和驱动程序的信息,以及进行一些基本的管理和监控操作。: 这是NVIDIA显卡驱动程序的版本号,表示当前系统中安装的NVIDIA驱动程序的版本号。: 这是CUDA的版本号,表示当前系统安装的CUDA版本号为12.1。CUDA是NVIDIA针对GPU的并行计算平台和编程模型,它可以使开发者利用GPU的并行处理能力来加速各种应用程序。GPU:GPU编号,从0开始,图中0,1,2,3,4,5,6,7共八块GPU。原创 2023-11-27 16:52:25 · 929 阅读 · 0 评论 -
FLAME-DECA模型代码修改,指定某个GPU运行
(可使用export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 环境变量用于设置可见的GPU设备列表,以控制哪些GPU设备可以被程序使用。是一个用于设置环境变量的shell命令,可以将一个或多个变量添加到当前shell环境中。,0对应第一块GPU,1对应第二块GPU......修改Model载入参数。原创 2023-11-27 15:59:42 · 200 阅读 · 0 评论