![](https://img-blog.csdnimg.cn/20190927151101105.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习部署笔记
文章平均质量分 84
该专栏主要分布的文章为我实习期间积累的一些深度学习模型部署相关知识和工程,欢迎大家阅读点赞!
IRevers
热爱科研,热爱分享。
展开
-
【MLP多层感知机】ONNX模型部署(Python&C++)
【代码】【MLP】ONNX模型部署。原创 2023-12-27 00:08:21 · 523 阅读 · 0 评论 -
【onnxruntime推理】LSTM时序预测模型(含多输入)C++部署(CMake编译)
本文主要介绍在linux开发环境中如何使用C++和Cmake对LSTM进行部署推理。之所以不在vscode等编译软件上直接进行设置,是因为笔者认为CMake更好,可以编辑对应的语法,也可以避免路径设置(CMake直接传入指定路径)等相关问题。原创 2023-12-07 22:36:11 · 952 阅读 · 1 评论 -
模型压缩之模型低比特量化
模型压缩之模型低比特量化原创 2023-11-17 22:56:00 · 310 阅读 · 0 评论 -
CV-CUDA之编译与使用
CV-CUDA之编译与使用,CV-CUDA是NVIDIA和字节联合开发的GPU前后端处理加速库,该库能实现将图像、视频的预处理和后处理都加载到GPU上进行处理,大幅提高模型推理能力,缺点就是需要更多一点的显存占用。原创 2023-04-12 23:35:13 · 1116 阅读 · 4 评论 -
CV-CUDA之依赖环境安装
CV-CUDA之依赖环境安装,CV-CUDA是NVIDIA和字节联合开发的GPU前后端处理加速库,该库能实现将图像、视频的预处理和后处理都加载到GPU上进行处理,大幅提高模型推理能力,缺点就是需要更多一点的显存占用。原创 2023-04-12 23:30:43 · 1424 阅读 · 2 评论 -
YOLOv5 MNN框架C++推理
YOLOv5 MNN框架C++推理:MNN是阿里提出的深度网络加速框架,是一个轻量级的深度神经网络引擎,集成了大量的优化算子,支持深度学习的推理与训练。据说比腾讯开发的NCNN框架好一些。本文主要使用MNN对yolov5s模型进行推理加速。原创 2023-04-11 10:07:18 · 1264 阅读 · 8 评论 -
CV-CUDA NVIDIA GPU前后处理库入门
CV-CUDA是NVIDIA开发出的一个用于图像预处理的库,将大部分的预处理和后处理都迁移到GPU上进行,提高对输入输出图像的处理效率,目前该库才刚开源不久,本文使用的是v0.2.1这个版本。原创 2023-04-10 09:47:46 · 1532 阅读 · 0 评论