学生党matlab哪个版本最好用,学生党福音！仅4个GPU打造自己的BigGAN，PyTorch代码已开源...

shs/ utils / prepare_data.sh

默认情况下，ImageNet训练集被下载到此目录中的根文件夹中，并将以128x128像素分辨率准备缓存的HDF5。

在s文件夹中，有多个bash脚本可以训练具有不同批量大小的BigGAN。假设您无法访问完整的TPU pod，因此通过梯度累积(在多个小批量下进行梯度平均，并且仅在N次累积后执行优化程序步骤)，以此形式表示大批量。

默认情况下，可以使用launch_BigGAN_bs256x8.sh脚本训练一个全尺寸的BigGAN模型，批大小为256和8个梯度累积，总批量为2048。在8张V100上进行全精度训练(无张量)，训练需要15天，期间共进行约150k次迭代。

首先需要确定设置可以支持的最大批量大小。这里提供的预训练模型是在8个V100上(每个显存16GB )上训练的，这个配置可以支持比默认使用的B1S256稍多一些的载荷。一旦确定了这一点，就应该修改脚本，使批大小乘以梯度累积的数量等于所需的总批量大小(BigGAN默认为2048)。

另外，此脚本使用--load_in_memarg，将整个(最大支持64GB)的I128.hdf5文件加载到RAM中，以加快数据的加载速度。如果没有足够的RAM做硬件支持(可能需要96GB以上的RAM)，请删除此参数。

度量标准和抽样

在训练期间，脚本将输出带有训练指标和测试指标的日志，同时保存模型