点PY
If you cannot risk, you cannot grow. If you cannot grow, you cannot become you best. If you cannot become you best, you cannot be happy. If you cannot be happy, what else matters?
展开
-
yolov8-pose的TensorRT动态库部署(C++)
为了方便使用,基于上述开源代码,将其封装成动态库,方便调用。原创 2024-10-09 10:42:30 · 376 阅读 · 0 评论 -
BUG记录:add_library cannot create ALIAS target “TensorRT::TensorRT“
为了修复你遇到的 add_library 错误,可以修改 FindTensorRT.cmake 使得 TensorRT 目标可以全局可见或者调整别名的创建方式。原创 2024-10-08 16:47:36 · 71 阅读 · 0 评论 -
TensorRT之cpp代码解读
文章目录前言构建模型 和 engineEngine 序列化和反序列化使用 engine 进行预测前向预测总结前言TensorRT(TRT) 作为一种能显著加快深度学习模型 inference 的工具,如果能够较好的利用,可以显著提高我们的 GPU 使用效率和模型运行速度。TensorRT(TRT) 作为一种快速的 GPU 推理框架,其常规流程就是利用现有的模型文件编译一个 engine,在编译 engine 的过程中,会为每一层的计算操作找寻最优的算子方法,这样编译好的 engine 执行起来就非常高原创 2022-01-17 09:03:51 · 594 阅读 · 0 评论 -
一种简单的INT8量化方法
文章目录背景数据准备环境准备engine生成代码cmake编译测试对比所有代码下载链接背景在深度学习中,量化指的是使用更少的 bit 来存储原本以浮点数存储的 tensor,以及使用更少的 bit 来完成原本以浮点数完成的计算。这么做的好处主要有如下几点:更少的模型体积,接近 4 倍的减少;可以更快的计算,由于更少的内存访问和更快的 int8 计算,可以快 2~4 倍。这篇博文将用一个车道线检测的案例开展。数据准备准备一千张图像,无需标签。环境准备下面只列出主要的lib:tens原创 2021-12-06 15:47:53 · 3237 阅读 · 0 评论 -
使用 NVIDIA TensorRT 的量化感知训练实现 INT8 推理的 FP32 精度
深度学习正在彻底改变行业提供产品和服务的方式。这些服务包括用于计算机视觉的对象检测、分类和分割,以及用于基于语言的应用程序的文本提取、分类和摘要。这些应用程序必须实时运行。大多数模型都采用浮点 32 位算法进行训练,以利用更宽的动态范围。但是,在推理时,与降低精度的推理相比,这些模型可能需要更长的时间来预测结果,从而导致实时响应的一些延迟,并影响用户体验。在许多情况下,最好使用降低精度或 8 位整数。挑战在于,在训练后简单地对权重进行四舍五入可能会导致模型精度较低,尤其是当权重具有较宽的动态范围时。这.原创 2021-11-26 10:42:06 · 1242 阅读 · 0 评论 -
基于TensorRT的语义分割实验记录
文章目录TensorRT介绍模型训练TensorRT环境CMakeList.txt配置利用Torch2trt生成Engine文件编译C++文件对比测试相关代码TensorRT介绍https://py1995.blog.csdn.net/article/details/121142164模型训练制作数据集训练模型得到最优模型参数TensorRT环境TensorRT 8.2.0.6windows 10OpenCV 3.4.3cmaketorch2trtCMakeList.txt原创 2021-11-24 15:05:55 · 2969 阅读 · 4 评论 -
YoloX之TensorRT加速(windows)(webcam)(C++)
code: https://github.com/SonwYang/YoloX-TensorRT-webcam这个repo是对官方repo的补充,主要有三点:linux VS windowsTensorRT 7x VS TensorRT 8xsingle image VS webcam原创 2021-11-22 15:53:52 · 1555 阅读 · 1 评论 -
YoloV5在tensorRT上加速(Windows)(C++)(webcam)
文章目录1. 软件安装1.1 OpenCV安装1.2 cmake安装1.3 TensorRT安装1.4 tensorrtx配置1.5 yolov52. 修改CMakeList.txt3. 编译tensorrtx/yolov51. 软件安装cuda11.1对应版本的cudnnopencv-3.4.0VS2017TensorRT-7.2.3.4Cmaketensorrtx(yolov5-4.0版本)yolov5(yolov5-4.0版本)对于cuda、cudnn和VS的安装在此就不做叙述原创 2021-10-25 09:27:08 · 2472 阅读 · 12 评论 -
YoloV5在tensorRT上加速(Ubuntu)(C++)
文章目录1.软件安装1.1 opencv安装1.2 Tensorrt安装编译tensorrtx/yolov51.软件安装默认已经安装好了cuda、cudnn我的cuda为11.1,cudnn为适配的版本1.1 opencv安装https://github.com/opencv/opencv/releasestar xvf opencv-3.4.4.tar.gzcd opencv-3.4.4cmake .makesudo make install1.2 Tensorrt安装https原创 2021-10-26 17:39:13 · 1647 阅读 · 0 评论 -
TensorRT 之入门篇
文章目录Why TensorRTTensorRT部署流程TensorRT之大胃王TensorRT模型导入流程caffeTensorFlow其他框架TensorRT优化细节Layer & Tensor FusionFP16 & INT8 精度校准Kernel Auto-TuningDynamic Tensor Memory优化结果TensorRT 部署方法Why TensorRT训练对于深度学习来说是为了获得一个性能优异的模型,其主要的关注点在于模型的准确度等指标。推理则不一样,其没有了训转载 2021-11-04 14:53:29 · 986 阅读 · 0 评论