huggingface笔记 accelerate launch

1 介绍

用正确的参数在分布式系统上启动指定的脚本

用法：

accelerate launch [arguments] {training_script} --{training_script-argument-1} --{training_script-argument-2} ...

{training_script}	要并行启动的脚本的路径
{training_script-argument-1}.....	训练脚本的参数

2 可选参数

-h, --help	显示帮助信息并退出
--config_file CONFIG_FILE	用于启动脚本中默认值的配置文件
-m, --module	将每个进程更改为将启动脚本解释为Python模块，执行行为与 ‘python -m’ 相同
--debug	是否在出错时打印torch.distributed的堆栈跟踪
--no_python	跳过在训练脚本前添加‘python’，直接执行它。 当脚本不是Python脚本时很有用
-q, --quiet	将启动堆栈跟踪中的子进程错误静音，只显示相关的回溯 仅适用于DeepSpeed和单进程配置

3 硬件选择参数

--cpu	是否强制在CPU上进行训练
--multi_gpu	是否应该启动分布式GPU训练
--tpu	是否应该启动TPU训练
--ipex	是否应该启动Intel Pytorch Extension (IPEX)训练

4 资源选择参数

--mixed_preci