![](https://img-blog.csdnimg.cn/20190927151043371.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
模型优化和部署
文章平均质量分 70
当前模块记录了一些模型压缩推理、量化、剪枝优化、以及在不同平台架构利用不同的框架工具部署模型的内容。
RayChiu_Labloy
研究领域:人工智能、工业互联网
展开
-
树莓派上使用ncnn量化推理yolov5-Lite模型
模型转化和量化操作均在服务器完成,推理在树莓派上原创 2022-01-26 16:50:06 · 2973 阅读 · 0 评论 -
ncnn推理tagv 6.0版本的和tag v5.0yolov5的模型
2060显卡和树莓派上测试ncnn推理yolov5模型,先测试v6.0的,再测试v5.0的原创 2022-01-25 11:17:26 · 2381 阅读 · 1 评论 -
ubuntu18.04测试ncnn推理yolov4
本文主要体验一下ncnn的环境配置过程原创 2022-01-06 11:40:03 · 2114 阅读 · 4 评论 -
yolov5 3.1 使用deepStream5.0
yolov5 v3.1 + deepStream5.0原创 2021-12-24 14:33:58 · 343 阅读 · 0 评论 -
ubuntu18.04安装配置deepstream5.0
DeepStream应用程序框架具有硬件加速构建块,可将深层神经网络和其他复杂处理任务带入流处理管道 ,以实现对视频和其他传感器数据的近实时分析,本文介绍如何在ubuntu中搭建DeepStream环境原创 2021-12-23 09:57:36 · 443 阅读 · 0 评论 -
centos7使用tensorrtx推理yolov5预训练模型和自己训练的模型
centos7 cuda10.0 GTX2060 tensorRT7.0.0.11环境下用tensorrtx推理yolov5s-v5预训练模型,最后推理自己训练的模型原创 2021-12-03 08:00:00 · 1214 阅读 · 0 评论 -
pytorch版yolov5模型用TenserRT生成engine推理模型参考过程
我们之前测试了OpenVINO在x86系统上的模型推理加速,本次我们在win10系统下基于cuda+GPU显卡下用tensorRT做engine模型转换,因为显卡太低端最后还是没能生成engine模型,但是过程可以借鉴。原创 2021-12-01 17:22:24 · 10851 阅读 · 12 评论 -
深度学习模型落地必备技能tensorRT扫盲篇
tensorRT技术是人工智能模型部署的利器,目的主要是为了量化加速模型推理过程。原创 2021-09-28 10:35:50 · 1417 阅读 · 0 评论 -
自己训练的yolov5模型用OpenVINO转换成IR模型后推理部署(win10+VS2017)
上次我们实验了基于yolov5预训练模型测试在win10下用C++推理由OpenVINO加速后的IR模型,本次我们基于上次的脚本微调一下部署推理自己训练的yolov5模型。原创 2021-11-24 15:00:07 · 1434 阅读 · 0 评论 -
yolov5预训练模型用OpenVINO转换成IR模型后推理部署(win10+VS2017)
之前我们测试了python推理OpenVINO的IR模型,本次我们基于yolov5的预训练模型,先转成IR文件,然后在win10系统下,借助VS2017完成C++版本的推理部署。原创 2021-11-24 14:35:21 · 10009 阅读 · 3 评论 -
win10+python环境OpenVINO推理加速自己训练的yolov5模型
上一次我们将yolov5s.pt这个预训练模型使用OpenVINO推理加速测试效果了,这次我们基于自己训练的模型,然后用OpenVINO推理加速测试一下原创 2021-11-23 16:04:53 · 1354 阅读 · 0 评论 -
win10+python环境yolov5s预训练模型转onnx然后用openvino生成推理加速模型并测试推理
win10环境下,yolov5s预训练模型先转为onnx文件,然后用openvino生成推理加速模型IR文件,并用python测试推理效果。原创 2021-11-14 18:31:12 · 7817 阅读 · 24 评论 -
win10 安装OpenVINO并在tensorflow环境下测试官方demo
测试在windows环境下安装测试OpenVINO原创 2021-11-13 11:17:59 · 866 阅读 · 0 评论 -
使用OpenVINO的pot组件量化yolo5s模型由FP32到int8
windows环境下实验,利用OpenVINO的pot命令将FP32的模型量化至int8,并测试精度和速度提升对比原创 2021-11-25 14:44:44 · 2476 阅读 · 5 评论