qq_42178122的博客

转换onnx的注意事项1）对于任意用到shape、size返回数的时候，避免直接使用tensor.size()的返回值，而是加上int转换，例如tensor.view(-1,int(tensor.size(1)));2)对于nn.upsample或者nn,functional.interpolate函数，使用scale_factor指定倍数,而不是使用size参数指定大小(对于无法使用倍数的，可以使用size来指定大小);

遇到一个问题，就是在使用自定义插件的时候，先通过onnx生成trt模型；然后，加载trt模型，能正常使用。注释：如果先通过onnx生成trt模型，这一步已经做了插件注册。因此，在后面的加载模型，就能正常使用。因为在插件注册表中找不到相应的IPluginCreator，所以需要在加载模型的时候，进行插件注册。1） 添加#include "NvInferPlugin.h"的头文件。2）在加载模型的代码处，进行插件注册。

实现原生不支持的算子 是 Plugin 最基础的能力，当然它还可以做更多事情，比如手动融合 TensorRT 没有自动融合的层 或 块。总结来说，TensorRT Plugin 的功能主要有以下几点：(1) 实现 TensorRT 原生不支持的算子或 块；(2) 手动融合 TensorRT 没有自动融合的算子 或块；(3) 替换你认为性能不够的算子或块；

OpenVINO是英特尔基于自身现有的硬件平台开发的一种可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件，本文以图像分类的案例手把手叫你如何使用OPENVINO

cuInit-驱动初始化1.cuInit用于初始化驱动API，如果不执行，cuda的所有API都会返回错误，全局执行一次就行2.不需要cuDestroy，程序会自动销毁并释放获取驱动版本、设备名称1.cuDriverGetVersion(&driver_version)：运行cuDriverGetVersion，驱动版本赋值给driver_version2.cuDeviceGetName(device_name, sizeof(device_name), device)：运行cuDevic

1. cuda-tuntime的初始化// CUDA运行时头文件#include <cuda_runtime.h>// CUDA驱动头文件#include <cuda.h>#include <stdio.h>#include <string.h>#define checkRuntime(op) __check_cuda_runtime((op), #op, __FILE__, __LINE__)bool __check_cuda_ru

1.什么是ＣＵＤACUDA(Compute Unified Device Architecture)，统一计算架构，是NVidia推出的并行计算平台。NVidia官方对其的解释是：一个并行计算平台和简单（简洁）地使用图像处理单元（GPU）进行通用计算的编程模型。利用GPU的能力在计算性能上有惊人的提升。简单地说CUDA是便于程序员利用Nvidia GPU进行通用计算的开发环境及工具，目前支持C/C++语言，将来还会只会Fortran语言。2.为什么要用到CUDACPU主频要比GPU高2-3倍左右，但

本文是介绍tensorrt7的安装1.下载tensorrt下载链接：https://developer.nvidia.com/tensorrt由于tensorrt的官网是外国网站，打开速度会比较慢（可以使用科学上网）