DeepSpeed的hostfile文件

一. hostfile文件

DeepSpeed多机多卡训练时，需要配置hostfile文件， hostfile文件是一个主机名（或 SSH 别名）列表，这些机器可以通过无密码 SSH 访问，并且还包括 slot counts，用于指定系统上可用的 GPU 数量。如下所示：

worker-1 slots=8
worker-2 slots=8
hostname1 slots=8
hostname2 slots=8

上述示例指定了**四个别名（别名创建看下面第二节）**为 worker-1 ，worker-2，hostname1，和hostname2 的机器，每台机器都有8个 GPU 用于训练。

可以使用 --hostfile 命令行选项指定 hostfile。如果没有指定 hostfile，则 DeepSpeed 会搜索本机器 /job/hostfile系统配置文件路径 。如果没