前言
首先,现在可以直接在tensorflow的工作流中调用tensorRT的代码了,统称为TF-TRT,不需要再单独使用TensorRT进行优化,但运行需要本地安装了TensorRT
如果想在运用TensorFlow中自带的TensorRT,例如以下代码
from tensorflow.python.compiler.tensorrt import trt_convert as trt
input_saved_model_dir = "saved_model_dir"
converter = trt.TrtGraphConverterV2(input_saved_model_dir=input_saved_model_dir)
converter.convert