前言
Accelerate是为PyTorch用户设计的库,旨在简化分布式训练和混合精度训练过程。它提供了一种轻松加速和扩展PyTorch训练脚本的方式,无需编写繁琐的样板代码。Accelerate的API相对简单,仅包含一个Accelerator对象类,使用户能够更轻松地利用多GPU、TPU等计算资源,同时保持对训练循环的完全控制。
Accelerate_config配置
终端输入指令,进入配置
accelerate config
要进行单机多卡的配置,可以按如下命令进行选择
注意箭头的地方就行了,其他选项一般选no就可以