深度学习模型部署
文章平均质量分 56
爱健身的小范
目前从事缺陷检测以及工业异常检测的研究工作,研三在读
展开
-
yolov5模型export.py生成的输出节点为output还是output0的问题
源码的意思是根据是否是分割模型来定义输出节点的名称,将其中的output0修改为output之后所生成的onnx模型的输出节点就变成了output了,搞定,查看一下网络结构中的节点名称也没有问题。查看export.py文件,最终定义位置在160行左右。原创 2024-04-01 14:33:19 · 374 阅读 · 0 评论 -
onnx部署之针对单张图片的检测---opencv的cuda版本推理比cpu更慢?
一度有点怀疑是不是opencv的编译出现了问题,恰好最近认识了一个csdn的朋友也在搞这个东西,所以相互交流了一下,发现原来问题就出在与检测单张图片上,将代码更改为检测视频,获取逐帧检测解决,最终yolov5s.onnx在我的电脑上gpu的推理时间为10ms左右一张,在cpu上推理时间为300-400ms一张。另外,单张图片的处理可能会导致 GPU 的负载不足,无法充分利用 GPU 的并行性能,而处理多张图片可以更充分地利用 GPU 的并行性能,从而提高整体处理速度。原创 2024-03-31 15:53:04 · 309 阅读 · 0 评论 -
tensorRT的VS环境部署
与opencv的环境配置不同的是,tensorRT的部署不止要配置tensorRT下的include文件夹路径作为包含目录,还要另外配置CUDA下的路径。cuda下的include文件夹的lib文件有很多,写个程序来读取指定文件夹下的所有文件名,然后复制粘贴进来就好了。除此之外,在链接器-->输入-->附加依赖项中还要配置以上两个include文件夹中的所有lib文件。原创 2023-10-18 09:51:23 · 232 阅读 · 1 评论 -
yolov5s进行tensorRT的VS部署时出现输出信息不正确的情况
其实就是输出节点的问题,有些人的模型输出节点是output,有些模型是output0,当出现置信度为不合理的乱码数值时就可以尝试修改output的结点信息即可。原创 2023-10-17 20:21:01 · 271 阅读 · 0 评论 -
yolov5s利用tensorRT部署并转dll文件
(2)tensorrt: export failure 0.0s: No module named 'tensorrt':问题是说tensorrt没有正确安装成功,但是我是根据视频的教程一步一步来的,于是我就想卸载重装,但是在终端中删除这个库的时候出现了错误,说我没装这个库,警告的信息如下。这个问题是说cuda不可用,最终发现就是cuda没有正确安装,要安装cuda的GPU版本, cudnn,并且torch和torchvision的版本都要与cuda对应,缺一不可。原创 2023-10-13 15:15:50 · 608 阅读 · 1 评论 -
Yolov5s利用onnx部署并转dll的记录
4.在读取完模型之后我们还要进一步将模型的输出内容解码生成我们想要的检测结果,这一步的实现就需要另外编写解码过程的代码,根据不同的模型以及不同的检测类别需要编写不同的解码过程,具体的解码过程与pycharm中的解码过程是一样的(只是需要转写成C++的形式)。先对应创建前面所编写的.cpp文件的头文件,创建 yolov5s的类别并在cpp文件中定义它的test成员函数(实际上就是刚才所编写的加载模型+检测图片的函数)此时已经完成了dll文件的封装步骤了,接下来是调用dll文件的步骤。原创 2023-10-13 14:54:11 · 743 阅读 · 2 评论