原因分析
在使用fastdeploy部署PPOCR的时候,利用tritonserver-py3-sdk镜像使用perf_analyzer测试模型的吞吐量的时候,使用下面命令测试的时候
perf_analyzer -m pp_ocr --percentile=95 --concurrency-range 1
报如下错误
error: failed to create concurrency manager: input INPUT contains dynamic shape, provide shapes to send along with the request
解决办法
我们在使用perf_analyzer测试的时候,指定shape就可以了,测试命令如下
perf_analyzer -m pp_ocr --percentile=95 -i grpc --concurrency-range 1:10:2 --shape INPUT:1080,960,3
在指定shape的时候需要带上输入节点的名称,如果不知道输入节点的名称,可以查看config.pbtxt文件,找到input节点即可
name: "pp_ocr"
platform: "ensemble"
max_batch_size: 1
input [
{
name: "INPUT"
data_type: TYPE_UINT8
dims: [ -1, -1, 3 ]
}
]
1426

被折叠的 条评论
为什么被折叠?



