安装APEX

青鸟飞啊555

已于 2022-06-14 21:54:29 修改

阅读量2.1k

点赞数 4

文章标签： pytorch 深度学习人工智能

于 2022-06-14 10:42:41 首次发布

本文链接：https://blog.csdn.net/qq_38739906/article/details/125273454

版权

APEX

APEX是英伟达开源的，完美支持PyTorch框架，用于改变数据格式来减小模型显存占用的工具。其中最有价值的是amp（Automatic Mixed Precision），将模型的大部分操作都用Float16数据类型测试，一些特别操作仍然使用Float32。并且用户仅仅通过三行代码即可完美将自己的训练代码迁移到该模型。实验证明，使用Float16作为大部分操作的数据类型，并没有降低参数，在一些实验中，反而由于可以增大Batch size，带来精度上的提升，以及训练速度上的提升。

前提条件

①建好虚拟环境，并安装需要的torch版本和对应的cuda。

②下载apex，网址：GitHub - NVIDIA/apex: A PyTorch Extension: Tools for easy mixed precision and distributed training in Pytorch

下载到任意地方都可以，然后解压。

③win+R cmd 进入命令行窗口，进入虚拟环境

conda activate torch170

④通过命令进入解压好的apex文件夹中

例如：

接下来输入：

python setup.py install
或者
pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./

就可以成功安装apex。