FPGA深度学习推理加速引擎TF2重磅更新三大工具

近日，浪潮AI团队对FPGA深度学习推理加速引擎TF2进行了重大更新，开源了三大工具：编译器、基于MAC的8比特卷积计算架构和裁剪算法，项目网址https://github.com/TF2-Engine/TF2。TF2是全球首个包含从模型裁剪、压缩、量化到通用模型实现等优化算法的完整方案的FPGA上AI开源框架，可实现通用深度学习模型基于FPGA芯片的高性能低延迟部署。

图1  TF2计算加速流程
​​​

编译器：实现推理计算的完全自动化

TF2编译器可将PyTorch、Caffe模型编译为FPGA自定义模型结构并进行优化，最终生成FPGA计算需要的配置参数文件，从而实现神经网络推理计算的完全自动化，避免人工理解神经网络结构和计算架构来手动编写配置文件，提高用户AI应用部署效率。

编译器由解析器（Parser）、优化器（Optimizer）、代码生成器（Generator）三个部分组成。其中解析器、优化器存在于模型优化转换工具Transform Kit中，它们可生成优化的模型参数文件。代码生成器存在于FPGA智能运行引擎Runtime Engine中，它可解析优化的模型参数文件，生成FPGA计算需要的配置参数文件。

首先，解析器将PyTorch、Caffe模型解析为自定义的统一的High-level中间模型结构，以方便优化器使用统一的接口来处理不同训练框架的模型结构；

接着，优化器对解析之后的模型进行优化，主要包括数据类型转换、算子合并和不同算子计算顺序确定等操作，生成与FPGA计算架构强相关的Low-level模型结构，并保存模型到文件中；

最后，代