szfhy的博客

一个自定义插件需要实现两个类，分别继承于class MyPluginDynamic : public IPluginV2DynamicExclass MyPluginDynamicCreator : public IPluginCreator然后使用REGISTER_TENSORRT_PLUGIN(MyPluginDynamicCreator);看其详细定义，也就是将这个插件加入到一个全局链表中，方便trtexec根据op name来查找该插件，这个实现跟ffmpeg中注册编解码器是一个

一个自定义插件需要实现两个类，分别继承于class MyPluginDynamic : public IPluginV2DynamicExclass MyPluginDynamicCreator : public IPluginCreator然后使用REGISTER_TENSORRT_PLUGIN(MyPluginDynamicCreator);看其详细定义，也就是将这个插件加入到一个全局链表中，方便trtexec根据op name来查找该插件，这个实现跟ffmpeg中注册编解码器是一个

TensorRT7.0支持的ONNX算子列表https://github.com/onnx/onnx-tensorrt/blob/84b5be1d6fc03564f2c0dba85a2ee75bad242c2e/operators.mdOperator Supported? Restrictions Abs Y Acos Y Acosh Y Add Y And Y ArgMax Y .

bindding 数据类型部一致某个输出的数据类型是int, 忽略了，一直当作是float解析，导致错误。虽然int 和 float 占用内存大小是一样的，但是解析方式错误，导致最终的错误，看来对每个bingding做输入输出校验，是很有必要的。 后期做动态转换也是可以解决Int32 *pInt32Buf = reinterpret_cast<int*>output_binding_float.data();...

双线性插值，实现图像scale down, 记个笔记#include "stdafx.h"#include <iostream>#include "stdio.h"using namespace std;int img_down_scale(const unsigned char* src_img, unsigned char* dst_img, int src_width, int src_height, int dst_width, int dst_height)

对于比较新或者计算OP，tensorrt的响应并没有那么快，这个时候就需要我们自己实现自定义的插件，先开个题吧，后面整理一下代码，再帖上来，不错的链接实现TensorRT自定义插件(plugin)自由！ (qq.com)...

有用的链接NVIDIA工程师的仓库GitHub - zerollzeng/tiny-tensorrt: Deploy your model with TensorRT quickly. 快速使用TensorRT来部署模型参考上述仓库的实现Python成神之路 - xavier平台上YOLOV5的TensorRT加速

trtexec 实现onnx转tensorrt./trtexec --onnx=test.onnx --saveEngine=test.gie --verbose --dumpLayerInfo --dumpOutput --dumpProfile

直接贴code加载，推理import onnxruntime as ortimport torchimport timeimport cv2import numpy as npdef time_sync(): if torch.cuda.is_available(): torch.cuda.synchronize() return time.time()ort_session = ort.InferenceSession('./semseg.onn

软件概念thread block grid硬件概念sp sm cuda core

贴上来源代码吧，是在linux下调试通过的，包含源码和CMakeLists.txt环境配置配置好cuda pkg_config配置好opencv pkg_config之后的CMakeLists.txt会使用源码#include "cuda_runtime.h"#include <cuda.h>#include <device_functions.h>#include <opencv2/opencv.hpp>#include <iostr

TensorRT int8推理的精度接近fp32, 但是存储空间更小，对memory的带宽消耗也少，同时推理速度也有一定的提升。是一项很重要的技术。跟fp16和fp32不一样，使用int8推理必须先要做calibriation，其实就是再做浮点数定点化的一些操作,然后将一些关键数据保存下来，下次使用时，就不用重新生成了。这些数据会被记录到一个calibration table的文件中。为了生成calibration table需要准备一个calibration dataset, 通常要500-1000个

from tensorflow.keras import layersfrom tensorflow.keras import initializersimport tensorflow as tffrom keras.models import Sequentialfrom keras.layers import Dense, Flattenfrom keras.layers.convolutional import Conv2D, MaxPooling2Dfrom keras.utils.n

环境配置：安装完cuda之后，查看cuda编译器nvcc能否能够正常工作。第一个Helloworld

install guidehttp://wiki.ros.org/kinetic/Installation/Ubuntufailed at:sudo rosdep initrosdep updategot error:ERROR: cannot download default sources list from:https://raw.githubusercontent.com/ros/rosdistro/master/rosdep/sources.list.d/20-defa

通常情况下，opengl 的shader会被编译成program，然后再将program送到GPU里面去执行。如果我们的应用程序，每次都用源码编译shader，这样效率肯定是不高的，特别是在嵌入式平台上， 性能比较弱的场景下。其实我们可以稍微修改一下我们的程序结构，将编译完的program保存下来，下一次再用的时候，直接加载保存好的二进制program就好了，不必每次都编译，浪费时间。...

前面我们分享过，opengl 显示UYVY422格式的数据我们显示的是视频，每帧数据都copy到GPU中去渲染，图像数据一般是挺大的，copy数据的快慢对整个性能的影响还是很大的。在opengl中copy frame data用到的API是glTexImage2D.其实上文中的用法不太好。每帧图像都要渲染，直接在GPU内部分配一个固定的Buffer，不用每帧都去申请，然后再释放。...

前面我们分享过如何显示YUV420P的图像，渲染YUV420P数据这此我们分享一下UYVY422格式图像的渲染方法，关于YUV420P和UYVY422的区别，网上有很多图例可以帮大家理解。直接看代码，代码是直接可以运行的。完整代码和资源文件，请访问：https://download.csdn.net/download/szfhy/11940081#include <st...