2022.08.16
1. 安装背景
TensorRT是一个优化模型的库,也集成在Tensorflow里。
通过
import tensorflow.python.compiler.tensorrt
可以简单import。
但是优化模型时需要安装TenosrRT的lib以后才能正常使用,比如libnvinfer.so.8。
在执行下面这段代码时,报错【Could not load dynamic library 'libnvinfer.so.8'】提示需要安装TensorRT8
from tensorflow.python.compiler.tensorrt import trt_convert as trt
conversion_params = trt.DEFAULT_TRT_CONVERSION_PARAMS._replace(precision_mode=trt.TrtPrecisionMode.FP32,
max_workspace_size_bytes=8000000000, use_calibration=False)
converter = trt.TrtGraphConverterV2(input_saved_model_dir='saved_model',
conversion_params=conversion_params)
converter.convert()
converter.save(output_saved_model_dir='saved_model_TFTRT_FP32')