从sampleMNIST看什么是TensorRT

kagula

2021-11-15

内容概要

        在想什么是TensorRT，就这样做个总结，写下自己的理解。

环境(On Win10 Pro OS)

[1]cuda-v11.4.3
[2]cudnn-v8.2.4
[3]TensorRT-v8.2.0.6

正文

        根据Nvidia文档，运行sampleMNIST很顺利。

图一  sampleMNIST在软件系统中的位置

        sampleMNIST作为AI世界的“Hello, World!”，演示如何使用TensorRT实现“图片分类”功能，这个Sample下的README.md必须被阅读。

        但是，什么是TensorRT呢？它是Library，唯一功能就是inference（推理）。

 图二 TensorRT在软件系统中的位置和功能

        sampleMNIST就处于我们上图中的应用层。除了上图中列举的功能根据Nvidia官方文档只要我们有合适的Model，TensorRT还可以帮助我们背景去噪，语音识别，包括识别方言。

        TensorRT要实现具体的某种功能需要不同的Model，而Model根据信息的组织形式不同，又有不同的格式，比如这个例子中的Caffe Model就是Model的一种格式，比较常见的还有ONNX(Open Neural Network Exchange)格式。

英文缩写·

DLA        Deep Learning Accelerator

扩展阅读

1、《High performance inference with TensorRT Integration》

June 13, 2019
Posted by Pooya Davoodi (NVIDIA), Guangda Lai (Google), Trevor Morris (NVIDIA), Siddharth Sharma (NVIDIA)