Accelerate单卡，多卡config文件配置

十指流玉

已于 2024-09-28 21:44:48 修改

阅读量137

点赞数 1

文章标签： pytorch 人工智能

于 2024-09-28 20:13:02 首次发布

本文链接：https://blog.csdn.net/qq_41886231/article/details/142620935

版权

依赖库

from accelerate import Accelerator
from accelerate import DistributedDataParallelKwargs
ddp_kwargs = DistributedDataParallelKwargs(find_unused_parameters=True)
accelerator = Accelerator(kwargs_handlers=[ddp_kwargs])

代码中删除所有的.cuda() 或者to(device)，损失函数的可能不需要删除。因为我删了报错了。。。具体原因目前未知。

单机单卡训练

单机多卡

单机单卡多卡切换

直接看这个大哥的博客就可以

https://blog.csdn.net/zjc910997316/article/details/134642194?ops_request_misc=&request_id=&biz_id=102&utm_term=accelerate%20config%E5%A6%82%E4%BD%95%E6%97%A2%E5%8F%AF%E4%BB%A5%E5%8D%95%E5%8D%A1%E5%8F%88%E5%8F%AF%E4%BB%A5%E5%8F%8C%E5%8D%A1&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-0-134642194.142^v100^pc_search_result_base9&spm=1018.2226.3001.4187