模型部署实战
文章平均质量分 84
神经网络模型部署实战
战术摸鱼大师
啥都会点,啥都一般
展开
-
深度学习模型部署(十二)CUDA编程-绪
CUDA编程绪论,讲解what,why,以及how原创 2024-03-26 23:04:46 · 931 阅读 · 0 评论 -
深度学习模型部署(十一)TensorRT写Plugin
讲解如何使用TensorRT实现自定义算子,并以plugin的形式插入到模型中原创 2024-03-24 22:00:01 · 384 阅读 · 0 评论 -
深度学习模型部署(十)模型部署配套工具二
tensorRT提供的模型优化工具和性能分析工具原创 2024-03-15 22:48:35 · 416 阅读 · 0 评论 -
深度学习模型部署(九)TensorRT辅助工具一
TensorRT提供的辅助工具原创 2024-03-15 11:34:18 · 283 阅读 · 0 评论 -
深度学习模型部署-番外-TVM机器学习编译
AI编译器,再不学就晚啦!原创 2024-03-14 23:34:57 · 1292 阅读 · 0 评论 -
深度学习模型部署(五)onnx模型以及相应工具
揭开onnx模型的神秘面纱,讲解了onnx模型的概念以及配套的工具原创 2024-03-12 19:06:43 · 1074 阅读 · 0 评论 -
深度学习模型部署(七)TensorRT工作流and入门demo
探讨了TensorRT的工作流,并给出了一个demo原创 2024-03-11 23:36:47 · 352 阅读 · 0 评论 -
深度学习模型部署(六)TensorRT安装以及运行sample
安装TensorRT,并运行官方给出的sample。原创 2024-03-11 21:34:56 · 500 阅读 · 0 评论 -
深度学习模型部署(三)Onnxruntime部署yolov5实战
使用onnxruntime推理yolov5实战原创 2024-03-10 23:47:32 · 1149 阅读 · 0 评论 -
深度学习模型部署(零)模型部署常见方案及发展趋势综述
讲解了模型部署的常见常见方案以及模型部署的常见工具,以及发展趋势原创 2024-03-09 14:41:46 · 1290 阅读 · 0 评论 -
深度学习模型部署(四)常用模型及推理平台评估指标
讨论模型部署中经常遇见的模型指标以及平台指标,并给出了使用工具生成这些指标的demo原创 2024-03-09 11:26:14 · 649 阅读 · 0 评论 -
深度学习模型部署(番外4)模型量化方案及实战
讨论了两种不同的量化方案PTQ和QAT,并且使用pytorch实现了量化小demo原创 2024-03-06 16:54:25 · 857 阅读 · 0 评论 -
深度学习模型部署(番外3)神经网络不同层的量化方法
讲解了BN层,激活函数层,池化层的量化方法,以及常见的算子融合方案,并使用pytorch编写了一个量化demo原创 2024-03-05 20:52:08 · 1295 阅读 · 0 评论 -
onnxruntime模型部署(番外2)模型量化之tensor量化
分析了量化的基本原理并给出了一个小的量化demo实战原创 2024-03-04 17:27:07 · 690 阅读 · 0 评论 -
深度学习模型部署(番外)-浮点数标准与不同精度
本文探讨了IEEE754浮点数标准以及深度学习中常用到的浮点数精度,以及他们之间的区别和联系。原创 2024-03-03 23:04:21 · 497 阅读 · 0 评论 -
onnxruntime模型部署(二)C++部署手写数字识别
有两种方法,一种是下载源码自己编译,还有一种是使用预编译好的文件。众说周知,编译总是一件令人头痛的事情,所以我建议,使用预编译好的。以上是与推理有关的类的代码,接下来是配套的用于实习手写数字的代码,与该blog主题无太大关系,不需要认真解读。step3:在/usr/local/include和/usr/local/lib文件夹下建立软链接。step3:将解压好的文件夹mv到一个合适的位置保存,例如。,按照自己的电脑架构和cuda版本,选择合适的版本下载。step1:打开github项目的。原创 2024-03-02 23:07:06 · 793 阅读 · 0 评论 -
onnxruntime模型部署(一)-pythonAPI
简单模型的onnx模型的导出,以及onnxruntime推理引擎的模型部署原创 2024-02-29 22:51:25 · 1152 阅读 · 1 评论