vit训练-超算下卸载和安装python的apex包

目录

一、卸载apex

二、下载apex-master压缩包、上传并解压

三、安装apex，开始训练

四、vit训练命令

4.1 四张显卡0，1，2，3训练（加载预训练权重）：

4.2 两张卡0，1训练（不加载预训练权重）：

4.3 cpu节点训练：

4.4 单卡训练0：

---

一、卸载apex

       首先切换到超算的cpu节点下，gpu节点可能更好，然后命令行输入pip uninstall apex卸载apex

二、下载apex-master压缩包、上传并解压

        首先在

百度网盘链接：https://pan.baidu.com/s/1A7yEbFgM2WYdQvryp02tfQ 
提取码：w9nl

下载apex-master.zip，cd到压缩包所在的目录下（我的超算上是cd到Project/vit/目录下面），然后命令行输入unzip apex-master.zip将压缩包解压好（解压后会在原目录下自动解压新建出一个apex-master文件夹）

三、安装apex，开始训练

        首先切换到gpu节点下，因为我申请到的是gpu402，所以我这边在命令行下输入ssh gpu402；随后cd到解压后的apex-master文件夹中，运行python setup.py install

之后会开始安装apex，直到安装完成：

（如果不在gpu节点下运行加粗的步骤，在cpu节点下运行的话将会出现下面的错误：

)          

        最后运行CUDA_VISIBLE_DEVICES=0,1 python main.py --data ../images_data --world-size 1 --rank 0 --batch-size 64 --lr 0.001进行训练（不加载预训练权重）。 

四、vit训练命令

4.1 四张显卡0，1，2，3训练（加载预训练权重）：

CUDA_VISIBLE_DEVICES=0,1,2,3 python main.py --data ../images_data --world-size 1 --rank 0 --batch-size 512 --pretrained --lr 0.001 

4.2 两张卡0，1训练（不加载预训练权重）：

CUDA_VISIBLE_DEVICES=0,1 python main.py --data ../images_data --world-size 1 --rank 0 --batch-size 512 --lr 0.001 

4.3 cpu节点训练：

python main.py --data ../images_data --world-size 1 

4.4 单卡训练0：

python main.py --gpu 0 --pretrained -b 64 --lr 0.001 --data ../images_data