NVidia TensorRT 运行 Caffe 模型

最新推荐文章于 2024-06-04 14:54:28 发布

maybepossible

最新推荐文章于 2024-06-04 14:54:28 发布

阅读量4.9k

点赞数 3

分类专栏： Machine Learning 文章标签： nvidia TensorRT Caffe fp16 深度学习

本文链接：https://blog.csdn.net/wl2002200/article/details/53258054

版权

本文介绍了如何利用NVidia的TensorRT在TX1和Pascal GPU上运行Caffe模型，以实现fp16半精度计算，从而提高深度学习推理的性能。尽管TensorRT目前不支持自定义层，但它对常见层的支持仍能带来显著的加速效果。文中分享了从NVidia工作坊PPT中获取的简明操作流程。

摘要由CSDN通过智能技术生成

前面的话

NVidia发布了TensorRT，支持fp16，可以在TX1和Pascal架构的显卡，如gtx1080上运行半精度。官方说法是TensorRT对inference的加速很明显，往往可以有一倍的性能提升。而且还支持使用caffe的模型。
但不足的是还不支持自定义层，只有常用的一些层可以选用，NVidia论坛上也表示近期不太可能支持自定义层。
目前网上关于如何将TensorRT运行caffe模型的内容比较少。终于在NVidia一个workshop的PPT上发现了一段看起来很清晰的流程。抄在下面。

代码

/* Importing a Caffe Model */
// create the network definition
INetworkDefinition* network = infer->createNetwork();

// create a map from caffe blob names to GIE tensors
std::unordered_map<std::