TensorRT编程指南
文章平均质量分 87
TensorRT(GIE)是一个C++库,适用于Jetson TX1/TX2和Pascal架构显卡,支持fp16特性,也就是半精度运算。由于采取“精度换速度”的策略,在精度无明显下降的前提下,其对inference的加速明显,往往有3倍以上的性能提升。
Mars_WH
微信:75582029 欢迎交流。从事图像深度学习相关开发,主方向:目标检测分割、模型压缩、引擎优化,常用语言:C++、Python,常用框架:Caffe、Pytorch、TensorFlow,常用技术:CUDA、TensorRT、TVM、Boost,常用系统:Linux、Windows,常用IDE:CLion、PyCharm、VS,常用编译工具:CMake、GCC,常用硬件:Jetson TX1/2,Tesla P4,海思Hi3559A,昇腾310,比特大陆BM1682
展开
-
TensorRT 5 开发者手册 中文版 使用深度学习框架(三-6)
原创作品,转载时请务必以超链接形式标明文章原始出处: http://www.dapalm.com/?p=206,作者:大数据,怕了么? 本手册为TensorRT 4.0.1.6 GA版英文手册翻译而来,主要作为备忘所用,分享出来以供更多开发者使用。TensorRT Developer Guide手册一共分为四个章节,主要内容在第二、三章,看懂这两章,写代码够用了。第一章为TensorRT综述,...原创 2018-11-28 09:56:12 · 9370 阅读 · 11 评论 -
TensorRT 4 开发者手册 中文版 自定义层/混合精度校准/部署(三-5)
原创作品,转载时请务必以超链接形式标明文章原始出处: http://www.dapalm.com/?p=206,作者:大数据,怕了么? 本手册为TensorRT 4.0.1.6 GA版英文手册翻译而来,博主英文水平一般般,主要作为备忘所用,分享出来以供更多开发者使用。TensorRT Developer Guide手册一共分为四个章节,主要内容在第二、三章,看懂这两章,写代码够用了。第一章为...原创 2018-08-25 14:08:04 · 3937 阅读 · 6 评论 -
TensorRT 4 开发者手册 中文版 Python接口使用(三-4)
原创作品,转载时请务必以超链接形式标明文章原始出处: http://www.dapalm.com/?p=199,作者:大数据,怕了么? 本手册为TensorRT 4.0.1.6 GA版英文手册翻译而来,博主英文水平一般般,主要作为备忘所用,分享出来以供更多开发者使用。TensorRT Developer Guide手册一共分为四个章节,主要内容在第二、三章,看懂这两章,写代码够用了。第一章为...原创 2018-08-20 20:57:10 · 5859 阅读 · 9 评论 -
TensorRT 4 开发者手册 中文版 C++接口使用(三-3)
本手册为TensorRT 4.0.1.6 GA版英文手册翻译而来,博主英文水平一般般,主要作为备忘所用,分享出来以供更多开发者使用。TensorRT Developer Guide手册一共分为四个章节,主要内容在第二、三章,看懂这两章,写代码够用了。第一章为TensorRT综述,就是自吹有多牛逼。第四章为示例,介绍demo的代码结构及功能。开篇是目录,前三章每章为两到三篇,最后第四章示例,会拆...原创 2018-08-11 16:50:37 · 5164 阅读 · 6 评论 -
TensorRT 4 开发者手册 中文版 概述 (三-2)
原创作品,转载时请务必以超链接形式标明文章原始出处: http://www.dapalm.com/?p=193,作者:大数据,怕了么?本手册为TensorRT 4.0.1.6 GA版英文手册翻译而来,博主英文水平一般般,主要作为备忘所用,分享出来以供更多开发者使用。TensorRT Developer Guide手册一共分为四个章节,主要内容在第二、三章,看懂这两章,写代码够用了。第一章为Te...原创 2018-08-09 09:57:24 · 2477 阅读 · 4 评论 -
TensorRT 4 开发者手册 中文版 目录(三-1)
# 原创作品,转载时请务必以超链接形式标明文章原始出处: http://www.dapalm.com/?p=191,作者:<a href="http://DaPalm.com" target="_blank">大数据,怕了么?本手册为TensorRT 4.0.1.6 GA版英文手册翻译而来,博主英文水平一般般,主要作为备忘所用,分享出来以供更多开发者使用。TensorRT Deve...原创 2018-08-09 09:46:46 · 1800 阅读 · 1 评论 -
TensorRT 4 基本介绍及TensorFlow模型转化Uff格式导入(二)
原创作品,转载时请务必以超链接形式标明文章原始出处: http://www.dapalm.com/?p=143,作者:大数据,怕了么?从TensorRT1到TensorRT4一路跟过来,现在支持也越来越完善,NVIDIA的尿性就是不开源,坑不少,作为一个Inference库,确实为部署网络带来方便。下面从下面几个方面梳理总结一下:多种模型导入支持层自定义层UFF格式及转换...原创 2018-06-20 14:33:25 · 15268 阅读 · 7 评论 -
TensorRT 2 初探秘 (一)
原创作品,转载时请务必以超链接形式标明文章原始出处:http://www.dapalm.com/?p=116,作者:大数据,怕了么? 一、TensorRT基本概念 TensorRT(GIE)是一个C++库,适用于Jetson TX1和Pascal架构显卡,支持fp16特性,也就是半精度运算。由于采取“精度换速度”的策略,在精度无明显下降的前提下,其对inference的加速明...原创 2017-04-19 16:14:38 · 12864 阅读 · 4 评论