模型训练 GPU利用率低，占用低怎么破

最新推荐文章于 2024-03-21 10:05:15 发布

Dennis-Ning

最新推荐文章于 2024-03-21 10:05:15 发布

阅读量2.2k

点赞数 2

分类专栏：小知识文章标签： pytorch

本文链接：https://blog.csdn.net/weixin_45456178/article/details/125635061

版权

小知识专栏收录该内容

10 篇文章 0 订阅

订阅专栏

GPU 的显存占用和算力利用直接影响模型的训练速度

GPU 显存占用低问题

1、提高batch_size

2、提高模型输入尺寸

3、增加模型深度

推荐：优先提高batch_size, 其他方法会对模型结构产生影响

GPU利用率低问题

1、提高线程数

2、打开pin_memory

# 在pytorch 加载数据时提高线程数，打开pin_memory
torch.utils.data.DataLoader(image_datasets[x],
                            batch_size=batch_size, 
                            shuffle=True,
                            num_workers=8,
                            pin_memory=True)

参考连接：强化学习技巧四：模型训练速度过慢、GPU利用率较低，CPU利用率很低问题总结与分析。_汀丶的技术博客_51CTO博客