PyTorch 模型迁移方案特点
当前阶段针对PyTorch框架实现的对接适配昇腾AI处理器的方案为在线对接方案
当前选择在线对接适配方案的主要原因有以下几点:
- 最大限度的继承PyTorch框架动态图的特性。
- 最大限度的继承GPU在PyTorch上的使用方式,可以使用户在将模型移植到昇腾AI处理器设备进行训练时,在开发方式和代码重用方面做到最小的改动。
- 最大限度的继承PyTorch原生的体系结构,保留框架本身出色的特性,比如自动微分、动态分发、Debug、Profiling、Storage共享机制以及设备侧的动态内存管理等。
- 扩展性好。在打通流程的通路之上,对于新增的网络类型或结构,只需涉及相关计算类算子的开发和实现。框架类算子,反向图建立和实现机制等结构可保持复用。
- 与GPU的使用方式和风格保持一致。用户在使用在线对接方案时,只需在Python侧和device相关操作中,指定device为昇腾AI处理器,即可完成用昇腾AI处理器在PyTorch对网络的开发、训练以及调试,用户无需进一步关注昇腾AI处理器具体的底层细节。这样可以确保用户的修改最小化,迁移成本较低。
同时使用这种方案也存在一些约束和限制,如
- 不支持float16类型的inf/nan数据输入输出。inf表示无穷大数值,nan表示无穷小数值,当一个数超出表示范围时会转为inf,小于能表示的精度时会转为nan。
- APEX(混合精度训练加速模块)当前版本的实现方式为Python实现,不支持APEX中的自定义优化CUDA Kernel。
- APEX当前版本只支持适配昇腾AI处理器的混合精度计算和多种融合优化器功能,其他功能暂未支持。融合优化器与原生优化器算法保持一致,但运算速度更快。
- 集合通信约束:
- 数据并行模式中不同device上执行的图相同。
- 只支持1/2/4/8P粒度的分配。
- 只支持int8,int32,float16和float32数据类型。
达芬奇架构
软件架构及Ascend-Pytorch(1.8)安装
在进行Pytorch的安装前需要注意一下几点
-
已完成CANN开发或运行环境的安装,确保相应os依赖(如python、numpy等)已安装完成。
-
需确保CMake >= 3.12.0, gcc >= 7.3.0
-
建议用户直接在安装环境中进行编译。如果在其他环境中编译,需要编译环境和安装环境的OS版本、依赖版本保持一致。
Pytorch安装步骤
-
安装依赖: pip3 install pyyaml wheel
-
安装官方torch包:- pip3 install torch==1.8.1+cpu
-
编译生成pytorch插件的二进制安装包。- git clone =b master https://gitee.com/ascend/pytorch.git- cd pytorch && bash ci/build.sh =python=3.7
-
安装插件torchnpu包- pip3 install upgrade dist/torchnpu-1.8.1-xxx.whl
-
安装混合精度模块(可选)- apex: Ascend apex adapter
Pytorch模型迁移方式
将基于PyTorch的训练脚本迁移到昇腾AI处理器上进行训练,目前有以下3种方式:自 动迁移(推荐)、工具迁移、手工迁移,且迁移前要保证该脚本能在GPU、CPU上运 行。 ● 自动迁移:在训练脚本中导入脚本转换库,然后拉起脚本执行训练。训练脚本在 运行的同时,会自动将脚本中的CUDA接口替换为昇腾AI处理器支持的NPU接口。 整体过程为边训练边转换。 ● 工具迁移:训练前,通过脚本迁移工具,自动将训练脚本中的CUDA接口替换为昇 腾AI处理器支持的NPU接口,并生成迁移报告(脚本转换日志、不支持算子的列 表、脚本修改记录)。训练时,运行转换后的脚本。整体过程为先转换脚本,再 进行训练。 ● 手工迁移:算法工程师通过对模型的分析、GPU与NPU代码的对比进而对训练脚 本进行修改,以支持在昇腾AI处理器上执行训练。迁移要点如下。 – 定义NPU为训练设备,或将训练脚本中适配GPU的接口切换至适配NPU的接 口。 – 多卡迁移需修改芯片间通信方式为HCCL。
Pytorch模型迁移——手工迁移
Pytorch模型迁移——脚本转换工具迁移
Pytorch模型迁移——自动迁移