原创作品,转载时请务必以超链接形式标明文章原始出处:http://www.dapalm.com/?p=116,作者:大数据,怕了么?
一、TensorRT基本概念
TensorRT(GIE)是一个C++库,适用于Jetson TX1和Pascal架构显卡,支持fp16特性,也就是半精度运算。由于采取“精度换速度”的策略,在精度无明显下降的前提下,其对inference的加速明显,往往有1倍以上的性能提升。
二、TensorRT编程流程
使用TensorRT主要有连个步骤:
构建阶段:构建一个网络定义(network),执行优化,并生产推理引擎(inference engine)
执行阶段:引擎运行推理任务(只需要输入/输出buffers),主要是通过 IExecutionContext::execute和 IExecutionContext::enqueue同步或异步执行推理
目前支持的层(据说更新到TensorRT 2.1将支持自定义层,好消息哦):
Convolution: 2D
A