TensorRT part2 python version

TensorRT part2 python version

总结上文

在进入第二部分前，对第一部分的业务流程做一个总结：

创建流程图

推理流程图

pyversion

1.1 通过python使用TensorRT

只简单说明从tensorflow导入模型

import tensorrt as trt
from tensorrt.parsers import uffparser
import uff
#实现logging接口
G_LOGGER = trt.infer.ConsoleLogger(trt.infer.LogSeverity.ERROR)
#创建引擎
engine = uff.from_tensorflow_frozen_model(frozen_file, ["fc2/Relu"])
#创建解析器，和C++不一样，不是从builder中创建的解析器
parser = uffparser.create_uff_parser()
#注册输入和输出
parser.register_input("Placeholder", (1, 28, 28), 0)
parser.register_output("fc2/Relu")
# 将模型导入引擎
trt.utils.uff_to_trt_engine(G_LOGGER,uff_model,parser,MAX_BATCHSIZE,MAX_WORKSPACE)

1.2 将Frozen Graph转化为UFF

//通过命令行将.pb的Frozen Graph转化为UFF文件
convert-to-uff tensorflow -o name_of_output_uff_file --input-file name_of_input_pb_file -O name_of_output_tensor
//通过一下命令显示tensorflow的各层
convert-to-uff tensorflow --input-file name_of_input_pb_file -l

1.3 从tensorflow生成uff

#尝试导入uff模块