深度学习模型转换技术

深度学习模型转换技术
目前的转换技术在设计思路上主要存在两种差异，一种是直接将模型从现有框架转换为适合目标框架使用的格式，我们在这称此技术为直接转换技术；另外一种是针对深度学习设计一种开放式的文件规范，而主流深度学习框架最终都能实现对这种规范标准的支持，这种技术的代表是开放式神经网络切换框架——ONNX技术。

2.1 直接转换技术
转换器实现模型文件转换的基本原理涉及一下几步：

读取载入A框架生成的模型文件，读取并识别模型网络中的张量数据的类型/格式、运算单元的类型和参数、计算图的结构和命名规范，以及它们之间的其他关联信息。
将第一步识别得到的模型结构和模型参数信息翻译成B框架支持的代码格式，比如B框架指Pytorch时，relu激活层(运算单元)这一信息可翻译为torch.nn.ReLu()。当然，运算单元较为复杂时(特别是带较多参数的情况)，可在转换器中封装一个对应的运算单元转换函数来实现B框架的运算单元骨架。
在B框架下保存模型，即可得到B框架支持的模型文件。
转换器如能将现有模型文件直接转换为生产环境支持的格式，这在操作上会给使用者带来很大的便利。但因市面上存在的深度学习框架众多(超过10种)，目前还没有一种转换器能够实现所有模型文件之间的转换。我在这列出部分可实现不同框架迁移的模型转换器，如图7所示。更完整的列表请参考：https://github.com/jasonaidm/deep-learning-model-convertor

可以看出，目前既有机构，也有个人开发一些特定场景的模型转换器。其中最有名的模型转换器当属微软于2018年开源的MMdnn框架。下面我将多花点篇幅来介绍这个框架。

图7 不同模型文件的转换器

 

MMdnn实质上是一套用于转换、可视化深度神经网络模型的综合性解决方案。MMdnn中的「MM」代表模型管理&#x