Deep Learning部署TVM Golang运行时Runtime

最新推荐文章于 2024-04-16 12:14:05 发布

wujianming_110117

最新推荐文章于 2024-04-16 12:14:05 发布

阅读量544

点赞数

分类专栏： GPU，NPU，XPU，DPU，MPU 视频推理智能推理

吴建明

本文链接：https://blog.csdn.net/wujianing_110117/article/details/114431351

版权

本文介绍了如何利用TVM的Golang运行时绑定部署深度学习模型。TVM是一个深度学习编译器，支持多种前端和后端。gotvm是Golang包，它在TVM的C运行时接口基础上构建，简化了模型加载、配置和推理。通过gotvm，开发者可以将来自不同框架的模型集成到Golang应用中，无需了解框架特定的接口API。

摘要由CSDN通过智能技术生成

Deep Learning部署TVM Golang运行时Runtime
介绍
TVM是一个开放式深度学习编译器堆栈，用于编译从不同框架到CPU，GPU或专用加速器的各种深度学习模型。TVM支持来自Tensorflow，Onnx，Keras，Mxnet，Darknet，CoreML和Caffe2等各种前端的模型编译。TVM编译模块可以部署在LLVM（Javascript或WASM，AMD GPU，ARM或X86），NVidia GPU（CUDA），OpenCL和Metal等后端上。
TVM支持编程语言（如Javascript，Java，Python，C ++…）以及现在的Golang的运行时绑定。通过广泛的前端，后端和运行时绑定，TVM使开发人员可以通过多种编程语言，将深度学习模型从各种框架集成和部署到各种硬件，并进行部署。
TVM导入和编译过程会生成一个图JSON，一个模块module和一个参数。集成TVM运行时的任何应用程序，都可以加载这些编译的模块并执行推理。可以找到有关使用TVM进行模块导入和编译的详细教程。
TVM现在支持通过Golang部署已编译的模块。Golang应用程序可以利用它通过TVM部署深度学习模型。本文的内容包括gotvm软件包的介绍，软件包的构建过程以及gotvm用于加载已编译模块并进行推理的示例应用程序。
Package
golang软件包gotvm建立在TVM的C运行时接口之上。该软件包中的API提取了本机C类型并提供了与Golang兼容的类型。软件包源可以在gotvm上找到。
该软件包利用golang的接口，切片，函数闭包，并隐式处理API调用之间的必要转换。