![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
TensorRT
猫猫与橙子
这个作者很懒,什么都没留下…
展开
-
C++ 按行读入文本文件
最近在学习TensorRT,遇到一个问题,就是自己写的层中有些参数通过函数没法传入,如Renfindet SSD层需要的NMS阈值和置信度阈值都是写死在里面,无法又外界传入。所以想了个傻办法:将界面传入的参数保存得文本文件中,然后通过读取文本文件的字符串,将阈值使用extern 参数录入detect_out层,进行结果检测;下面的代码是对文本文件进行解析,获取NMS阈值和置信度阈值;fl...原创 2018-08-30 20:27:24 · 2580 阅读 · 0 评论 -
TensorRT MTCNN 人脸检测
参考demo:https://github.com/PKUZHOU/MTCNN_FaceDetection_TensorRT原创 2019-03-05 09:03:25 · 1914 阅读 · 2 评论 -
TensorRT对face_boxes的加速
TensorRT对face_boxes进行加速:难点:priorbox layer和mobileNet SSD中的priorbox layer实现不太一样了,所以要对这层自己进行实现,当前遇到的报错:问题1:nvinfer1::DimsCHW nvinfer1::getCHW(const nvinfer1::Dims&): Assertion ` d.nbDims >=...原创 2019-03-05 09:02:42 · 1087 阅读 · 5 评论 -
TensorRT5中的yoloV3加速
之前做过caffe版本的yolov3加速,然后实际运用到项目上后,发现原始模型在TX2(使用TensorRT加速后,FP16)上运行260ms,进行L1 排序剪枝后原始模型由246.3M压缩到64.8M,但是时间运行只提速到了142ms(目标是提速到100ms以内),很是捉急。最近发现TensorRT5的sampleszhong有yolov3 onnx版本的TensorRT加速(虽然是pyth...原创 2019-01-03 11:46:25 · 9851 阅读 · 24 评论 -
使用TensorRT遇到的问题
1.TensorRT内存泄漏问题最近遇到一个bug,TensorRT4.0.4没有办法进行内存释放,这个官网也有提到,大意就是调用destory函数(内存销毁的函数),一片内存会被释放两次,然后代码就崩溃了.这个参考文献在这里:(注意:bug产生的条件就是不停调用TensorRT,对其进行初始化,初始化结束后再销毁,反复操作,就能看到相应的内存泄漏)问题描述:error tensorR...原创 2018-12-19 10:57:30 · 6278 阅读 · 1 评论 -
如何下载JetPack所使用的TensorRT
调试TensorRT,小伙伴坑人,在TX2上刷了JetPack,但是却没有安装TensorRT,所以我只能自己再下载一个,操作流程:1)到JetPack官网下载最新的JetPack版本,网址:https://developer.nvidia.com/embedded/jetpack 2)下载下来是一个后缀为.run的文件, 在终端运行(可能需要修改权限,使用命名:chmod 777...原创 2018-12-19 15:56:31 · 2685 阅读 · 7 评论 -
TensorRT加速最近处理的报错;
问题描述:使用cmake编译时出现下面的错误:解决方法:参考:https://mp.csdn.net/postedit/84098336(自己之前遇到过,今天又遇到了);销毁内存失败解决方法:释放内存两种方式:new <--> deletenew [] <--> delete []出错现象:1.执行delete语句时,程序直接弹窗,崩溃。2....原创 2018-12-12 20:20:11 · 1355 阅读 · 0 评论 -
TensorRT基于caffe模型加速MobileNet SSD
TensorRT加速MobileNet SSD分解为三个问题:1)图像的预处理;2)结果的处理;3)depthwise convolution层的实现;针对1)图像预处理我就不多言了;针对2)结果处理,由于tensorRT中有SSD的detectout插件,所以出来的结果如何处理,也没有什么多说的,结果的个数是100个,for循环就可以了.可以借鉴这个demo:https://...原创 2018-11-26 15:19:40 · 4382 阅读 · 25 评论 -
TensorRT加速yoloV3(caffe版本)
加速yolov3需要处理三件事情:1)upsample层;2)图像的预处理;3)加速结果的后处理;贴出upsample层的代码:(参考:)/******************************/// Upsample Plugin/******************************///*fuxueping//2018-11-7class Upsa...原创 2018-11-21 14:38:49 · 3880 阅读 · 12 评论 -
Tensor中的LeakRelu
最近在验证序列化保存的结果,再次运行是否正确,却出现了一个问题,TensorRT对LeakRelu中的代码无法序列化,琢磨了两天发现是Leak Relu这个插件层有问题。就Lrelu这层的代码而言,非常简单,大家若是不太了解,可以先看看Lrelu的原理公式和caffe源码中的前像计算的代码(注意Lrelu的代码就是relu的代码,只是加了一个参数,值大小一般是0.1.我的代码中是将其参数写死了...原创 2018-10-23 17:51:55 · 2420 阅读 · 0 评论 -
C++ ifstream的使用和报错处理
最近在做prototxt文本文件解析:主要参考的代码是:https://github.com/HoboChen/hoboprototxt在这个照虎画猫的过程中,然后就发生了一些错误,记录如下:使用过程中出现的错误:1.error: no matching function for call to ‘std::basic_ifstream<char>::open(const ...原创 2018-10-25 16:39:45 · 4764 阅读 · 0 评论 -
封装ResNet27的TensorRT外围接口
平台:TX2 ,JetPack3.3最近在使用TensorRT封装27层的ResNet,封装过程中遇到以下问题:1.网络结构中的Prelu类型的GPU代码实现;2.在比对网络结构fc5的输出的时候,输出特征参数只有一半是正确,有一般为0;首先分享一下网络结构的改造: 原始网络结构:name: "face_res27net"input: "data"input_di...原创 2018-10-17 17:06:53 · 1006 阅读 · 0 评论 -
TensorRT序列化后结果保存
今天主要工作是对序列化后的结果进行保存,这部分的工作也是依靠论坛的力量和nvidia官方给予的信息:主要参考的网页如下:https://github.com/dusty-nv/jetson-inference/blob/master/tensorNet.cpp#L244https://devtalk.nvidia.com/default/topic/1030534/jetson-tx2...原创 2018-10-18 16:02:10 · 4134 阅读 · 2 评论 -
TensorRT多输出层的使用
最近在对TensorRT接口库进行封装(基于VGG16 - refinedet SSD和yolo V2),但是出现一个很奇怪的问题,就是在执行VGG16-refindet SSD时,大批量跑图时,图片跑一部分后(图片数量是定植,通常跑到1460张图片后就出不来结果了),后面的图片出不来结果,同时相应的运行时间从正常的50ms降到了10几ms至30ms不等。无法找到问题原因,初步猜测有两个原因:...原创 2018-10-23 17:33:54 · 3453 阅读 · 10 评论 -
TensorRT接口封装成功能库出现的error
平台:TX2 JetPack3.3语言: C++ide:Qt遇到的error:参考:https://www.cnblogs.com/octave/p/4824584.htmlhttps://www.cnblogs.com/techiel/p/8035014.html unresolvable R_AARCH64_ADR_PREL_PG_HI21 relocation ag...原创 2018-10-11 10:28:33 · 4064 阅读 · 0 评论 -
TensorRT使用TX2进行FP16和FP32的时间计算
本工程基于VGG16 Refindet SSD进行目标检测,在没有使用TensorRT库的时,测试没帧图片所需时间130ms(从读入原始图片到测试出最终的结果)。使用半精度(FP16:float16)每帧图片的测试时间降到50~60ms;使用单精度(FP32:float32)每帧图片给的测试时间降到80~90ms。使用TensorRT提速时如何操作?首先平台支持半精度计算,这个如何判断?...原创 2018-09-11 14:53:10 · 6186 阅读 · 0 评论 -
TensorRT4.0.1.6加速主干网络是googleNet的fasterRCNN
使用TensorRT对fasterRCNN进行加速,主干网络是googleNet。原始网络结构:tensorrt_sdk{ type: FASTERCNN_GOOGLENET in_put_layer:data out_put_layer:bbox_pred out_put_layer:cls_prob out_put_layer:rois}name: "Goog...原创 2019-03-04 09:59:07 · 1782 阅读 · 3 评论