一、下载安装cuda和tensorrt,本人前面的文章有
二、打开终端
cd 自己安装tensorRT的路径/samples/sampleMNIST
make
2. Tensorrt7.x.x.x的版本需要自己下载数据,方法如下
2.1
找到电脑里的download_pgms.py文件
cd 到tensorrt安装路径下的/data/mnist路径下
python3 download_pgms.py#执行以下文件
2.2 如果下载超过10秒钟,ctrl+z推出执行并下载下面路径的文件
hypergrad/data/mnist at master · HIPS/hypergrad · GitHub
2.3
打开download_pgms.py文件
找到两个下载路径替换上刚下载好的文件,如下:
with urllib.request.urlopen("file:home/song/TensorRT-7.1.3.4/data/mnist/111/train-images-idx3-ubyte.gz") as res:
data = load_mnist_data(gzip.decompress(res.read()))
with urllib.request.urlopen("file:home/song/TensorRT-7.1.3.4/data/mnist/111/train-labels-idx1-ubyte.gz") as res:
labels = load_mnist_labels(gzip.decompress(res.read()))
3.运行示例以从ONNX模型构建并运行MNIST引擎
./sample_onnx_mnist [-h or --help] [-d or --datadir=<path to data directory>] [--useDLACore=<int>] [--int8 or --fp16]
或者
./sample_mnist
3.输出如下
&&&& RUNNING TensorRT.sample_mnist # ./sample_mnist
[08/24/2021-15:40:25] [I] Building and running a GPU inference engine for MNIST
[08/24/2021-15:40:29] [I] [TRT] Detected 1 inputs and 1 output network tensors.
[08/24/2021-15:40:29] [I] Input:
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@#=. +*=#@@@@@@@
@@@@@@@@@@@* :. -@@@@@@@
@@@@@@@@@@# :#@@: +@@@@@@@
@@@@@@@@@* :@@@* .@@@@@@@@
@@@@@@@@= =@@@@. *@@@@@@@@
@@@@@@@= -@@@@* =@@@@@@@@@
@@@@@@@ -@@@%: -@@@@@@@@@@
@@@@@@% %%+: *@@@@@@@@@@
@@@@@@@ .. @@@@@@@@@@@
@@@@@@@# .=%%: =@@@@@@@@@@@
@@@@@@@@@@@@@# +@@@@@@@@@@@
@@@@@@@@@@@@@# @@@@@@@@@@@@
@@@@@@@@@@@@@@ @@@@@@@@@@@@
@@@@@@@@@@@@@# @@@@@@@@@@@@
@@@@@@@@@@@@@+ @@@@@@@@@@@@
@@@@@@@@@@@@@% @@@@@@@@@@@@
@@@@@@@@@@@@@@. #@@@@@@@@@@@
@@@@@@@@@@@@@@* :%@@@@@@@@@@
@@@@@@@@@@@@@@@: -@@@@@@@@@@
@@@@@@@@@@@@@@@@= %@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[08/24/2021-15:40:29] [I] Output:
0:
1:
2:
3:
4:
5:
6:
7:
8:
9: **********
&&&& PASSED TensorRT.sample_mnist # ./sample_mnist
此输出显示样本成功运行;通过。