- 博客(13)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 TensorRT setMaxWorkspaceSize的含义
NVIDIA的官方入门博客有一段说的比较详细TensorRT allows you to increase GPU memory footprint during the engine building phase with the setMaxWorkspaceSize function. Increasing the limit may affect the number of applications that could share the GPU at the same time. Setti
2020-12-28 08:44:22
3858
原创 TensorRT API疑问记录
基于TensorRT 5以及TensorRT 7问题1 builder->setHalf2Mode()以及builder->setInt8Mode（）的实际含义是什么目前找到的答案如下：Enable INT8 mode.Setting this flag ensures that builder auto - tuner will consider INT8 implementation问题2 上面提到的auto-tuner是什么...
2020-12-23 17:48:12
217
原创 TensorRT 7.0.0.0 int8量化的说明
本文主要是翻译、总结INT8量化的官方例子里面的README.md一、翻译DescriptionsampleINT8这个例子，执行的是INT8的校准和推理具体的说，这个例子演示了如何使用INT8推理。INT8推理仅在计算能力6.1以及7.X的GPU上可用。网络校准之后，校准的输出会缓存下来以避免重复这个过程。然后，你可以用任何深度学习框架重现你自己的实验，以便在ImageNet网络上验证你的结果。How does this sample work?INT8 engine和FP32 engine以
2020-12-23 16:55:17
2714
1
原创 TensorRT7.2版本，构建网络API整理
参考字，官方APInvinfer1::INetworkDefinition 用于构建网络结构时，支持的API操作（version 7.2.1.6）实例化对象 network操作名接口废弃说明network -> addInputnetwork -> addConvolutionSuperseded by addConvolutionNd and will be removed in TensorRT 9.0.network -> a
2020-12-19 16:27:54
875
1
原创 TensorRT插件RPROI的使用说明
NvPluginFasterRCNN PluginTable Of ContentsDescriptionStructureParametersAdditional resourcesLicenseChangelogKnown issuesDescriptionThe NvPluginFasterRCNN performs object detection for the Faster R-CNN model. This plugin is included in Tensor
2020-12-18 10:05:24
599
原创 CUDA与显卡驱动版本对应关系
https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html
2020-12-08 18:03:27
4997
1
转载 opencv 随机颜色
原博#include <opencv2/highgui/highgui.hpp> int main (int argc, char** argv){ //初始化随机种子 //cv::RNG rng(cvGetTickCount()); cv::RNG rng(time(0)); cv::Mat image1(500,500,CV_8UC3,cv::Scalar(rng.uniform(0,255),rng.uniform(0,255),rng.uni
2020-12-04 13:53:44
1195
转载 TensorRT fp16 int8优化原理
https://blog.csdn.net/meng825/article/details/103968626
2020-12-04 10:43:59
1198
2
原创 TensorRT多GPU的使用
来自于开发者手册Q: How do I use TensorRT on multiple GPUs?如何在多GPU环境中使用TensorRTA: Each ICudaEngine object is bound to a specific GPU when it is instantiated, eitherby the builder or on deserialization. To select the GPU, use cudaSetDevice() beforecalling the b
2020-12-03 17:25:57
3638
1
原创 TensorRT解析caffemodel，获取每一层的名字
IBuilder* builder = createInferBuilder(gLogger); INetworkDefinition* network = builder->createNetwork(); for (int i = 0; i < network->getNbInputs(); ++i) { std::string tName = network->getInput(i)->getName(); std::cout << tNam.
2020-12-03 10:00:38
671
原创 visual studio(vs)在Release模型下进行调试
C/C++ > 常规 > 调试信息格式 > 程序数据库(/Zi)C/C++ > 优化 > 优化 > 禁止（/Od）C/C++ > 优化 > 全程序优化 > 否链接器 > 调试 > 生成调试信息 > 是 （/DEBUG）
2020-12-01 09:06:45
203
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人