深度学习模型部署
文章平均质量分 56
athrunsunny
这个作者很懒,什么都没留下…
展开
-
yolov7使用onnx推理(带&不带NMS)
上个月,官方放了个使用onnx推理的ipynb文件,过了几天上去看,官方又给删了,不知道是不是要更新波大的,还好手快保存了一份,这个可以作为备忘,懒得再重新写(不过这得是多懒。熟悉yolo系列的朋友应该看出上面的问题了,没有NMS,这是因为官方代码在导出onnx的时候做了简化和端到端的处理。如果单纯运行export.py导出的onnx是运行不了上面的代码的,在for循环的时候会报错。......原创 2022-08-12 16:34:28 · 9060 阅读 · 21 评论 -
yolov5导出onnx失败
最近看yolov5更新了代码,支持导出的模型增加了不少,clone了最新的代码,但是遇到了onnx模型导出失败的问题最新的代码是v6.1的:导出模型时提示:然后就没了下文,直接退出了,使用旧版的export.py作为包导入export_onnx()也一样报错,看了下代码,代码写的其实是一模一样的,只是打印信息使用了log,但之前的代码导出onnx是没问题的,这就奇怪了。 折腾了半天,差点直接重装anacon...原创 2022-03-25 17:42:50 · 7292 阅读 · 4 评论 -
yolov5导出openvino模型
首先编辑一下export.py文件中的一些参数,opset的值设为10def parse_opt(): parser = argparse.ArgumentParser() parser.add_argument('--data', type=str, default=ROOT / 'data/coco128.yaml', help='dataset.yaml path') parser.add_argument('--weights', type=str, d...原创 2022-03-24 19:48:58 · 3182 阅读 · 2 评论 -
openvino踩坑记(ImportError: DLL load failed while importing ie_api)
最近捣腾了一下windows版的openvino,发现这玩意有坑,不过网上踩坑的好像不多,相关的信息也较少。事情是这样的,一开始我去官网下载exe安装包,具体的选择如下,安装之后会存在指定的文件夹中,并在这个文件夹中找到Intel\openvino_2021\deployment_tools\model_optimizer\install_prerequisites这个路径,在该路径下有几个bat文件这几个bat文件就是帮你配置环...原创 2022-03-24 19:25:30 · 8057 阅读 · 1 评论 -
DETR导出onnx模型,并进行推理(cpu环境)
话不多说直接上代码在detr项目目录下创建export_onnx.py文件,将下面代码拷贝之后直接运行即可。import ioimport argparseimport onnximport onnxruntimeimport torchfrom hubconf import detr_resnet50class ONNXExporter: @classmethod def setUpClass(cls): torch.manual_seed(1..原创 2021-12-30 16:59:58 · 4641 阅读 · 10 评论 -
DETR推理代码
detr的源码仅提供了train和eval的代码,但是没有提供inference的代码,推理的代码如下,在源码main.py的同级目录下创建inference.py文件,将代码复制粘贴:同时创建demo目录,包含images,outputs,weights三个文件夹,images放待检测图片,outputs保存检测后的图片,weights存放权重文件import argparseimport randomimport timefrom pathlib i...原创 2021-12-28 20:45:34 · 6722 阅读 · 37 评论 -
解决yolov5使用onnxruntime推理时耗时问题(cpu环境)
yolov5将训练好的模型转换成onnx格式,在使用转换后的onnx格式的权重进行推理时作者使用如下语句:# Inference if pt: visualize = increment_path(save_dir / Path(path).stem, mkdir=True) if visualize else False pred = model(img, augment=augment, visualize=visua...原创 2021-11-10 09:19:38 · 9015 阅读 · 17 评论 -
目标检测部署(卡牌识别)
最近在折腾yolov5,训练了一个识别纸牌的模型,最后使用onnxruntime进行部署,感兴趣的可以上github上clone下来玩玩,模型的权重文件上传到了百度网盘,链接和提取码写在readme里。 模型的训练使用了yolov5l的权重模型,训练的时候使用的batchsize为8,理论可以设置为16(用的单3080ti),训练了200个epoch,取了效果最好的权重模型。 从git上下载下来后的文件结构大致是这样的:funct...原创 2021-10-26 23:24:09 · 2738 阅读 · 0 评论 -
yolov5使用官方提供的export.py导出模型报错问题
1、TorchScript: export failure: save(): incompatible function arguments. The following argument types are supported:(self: torch._C.ScriptModule, filename: str, _extra_files: Dict[str, str] = {}) -> None解决办法: 在export_torchscript()函数中添加:f = st...原创 2021-10-20 22:41:32 · 9620 阅读 · 0 评论 -
pytorch图像分类模型部署
项目地址:GitHub地址该项目是自己写的一个简单的图像分类项目,环境是pytorch 1.7.0 cuda,从数据读取到训练再到最后的部署。废话不多说,直接上代码:DataLoader.py# -*- coding:utf-8 -*-import osimport numpy as npfrom torchvision import transforms, utilsfrom PIL import Imagefrom torch.utils.da......原创 2021-10-16 19:36:44 · 1852 阅读 · 1 评论