nvdia triton server运行pt文件
triton server默认都是tensorrt推理。但也会出现有操作不支持,导致无法转模型为engine的情况。可以选择直接运行pytorch的pt文件,以下为操作步骤。1.pytorch后端环境编译步骤原理是使用 pytorch C++ API运行pt文件模型。安装依赖项apt-get install patchelf rapidjson-dev python3-dev构建NGC 的 PyTorch 容器。例如,构建一个使用 NGC 21.02 版本的 PyTor.


